idea构建spark maven项目需要的Windows Hadoop环境,依赖

已于 2022-01-20 12:05:09 修改
阅读量2.5k 收藏 3
点赞数
文章标签： intellij-idea spark hadoop
于 2021-12-31 09:49:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43382750/article/details/122249786
版权
本文介绍了在Windows环境下使用IntelliJ IDEA构建Spark Maven项目时，如何配置Hadoop环境，包括下载Hadoop安装包、解压并设置环境变量，解决权限问题，以及添加winutils.exe。同时，文章还提到了Spark项目所需的依赖，如Spark本身、日志库log4j以及相关的打包和编译插件。
摘要由CSDN通过智能技术生成

1.windows配置Hadoop环境

  1. 下载Hadoop安装包,https://hadoop.apache.org/releases.html,点击binary即可,下载下来的是归档压缩文件,直接解压
  2. 环境配置,
    在这里插入图片描述
    在这里插入图片描述
  3. 常见错误,如果Java安装文件夹是默认的C盘文件夹,会因为权限不够无法访问,此时可以将D:\Hadoop\hadoop-2.10.1\etc\hadoop\hadoop-env.cmd里的Java环境变量改掉
    在这里插入图片描述
  4. bin文件夹下要添加winutils.exe,不然spark项目能编译成功但会报错

2.spark所需依赖

  1. 主要 spark依赖
<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.2</version>
            <!--<scope>provided</scope>-->
             <!--运行时把provided注掉-->
最低0.47元/天 解锁文章
Wingsdream
关注
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
在IDEA中利用Maven创建Spark项目
小小良
06-08 2519
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
在本机IDEA跑Spark时环境安装，Windows环境下配置Hadoop环境
henulmh的博客
10-20 1303
11、将 C:\hadoop-3.2.2\bin 中的 hadoop.dll 文件copy一份到 C:\Windows\System32中。9、用winutils中某一版本的bin（我用的3.0.0）替换掉刚才下载的3.2.2版本的hadoop的bin。10、修改 C:\hadoop-3.2.2\etc\hadoop\hadoop-env.cmd。6、安装hadoop（我装的3.2.2的，随意，后面会把bin替换了）8、hadoop在windows上不能直接用，下载winutils。
idea配置scala-sdk
weixin_46305053的博客
04-17 9925
社区版idea配置scala-sdk
Spark-自定义RDD以及java和scala混合编译
mc的博客
02-11 1159
转载自：       作者：玄尺       链接：https://blog.csdn.net/weixin_37893887/article/details/83473201 ...
Spark 开发环境搭建
IT晓白
11-14 377
1.创建maven工程 创建project--Java 创建module--maven 2.添加依赖 &lt;dependencies&gt; &lt;!--spark依赖--&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt...
Spark开发环境搭建
ZZJXP的博客
05-12 355
<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version> </dependency> <dependency> ..
Spark Local + Maven + IDEA项目
04-13
在本项目中，我们将使用IntelliJ IDEA（IDEA）作为集成开发环境，通过Maven来管理依赖，以实现对Spark的本地测试。 **一、Spark Local模式** Spark Local模式适用于开发和调试阶段，它在本地单节点上模拟一个完整...
idea开发spark程序的环境搭建.docx
04-03
我们首先安装 IDEA 和 Scala 插件，然后新建一个 Maven 工程，并在 pom.xml 文件中加入 Spark 环境所需要的一些依赖包。最后，我们将 IDEA、Maven 和 Scala 三者结合，来实现 Spark 程序的开发环境搭建。
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
这篇文章将深入探讨如何在Ubuntu Linux操作系统上使用Scala编程语言，通过Maven构建工具来开发Hadoop MapReduce项目，并在IntelliJ IDEA这样的集成开发环境中进行操作。以下是关于这些主题的详细知识点： 1. **...
SparkTest:Intellij Idea中的Spark Scala项目样本
04-30
在IntelliJ IDEA中集成Spark和Scala，你需要安装Scala插件，并设置正确的SDK和库依赖。SparkTest项目可能包含以下组件： 1. **build.sbt**：这是Scala项目的主要构建文件，它定义了项目的依赖项（如Spark、Scala和...
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
panda_225400的博客
06-04 466
Hadoop Spark HA环境搭建好了，试着创建程序提交到Spark集群执行简单计算统计需求:单词计数 执行步骤： 1、远程取两个文件 2、获取两个文件内的数据 3、将文件内的数据进行扁平化 4、将相同单词进行分组 5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA 启动Spark HA编写多个测试数据.txt文件，文件名随意，将文本文件上传至hdfs的/datas目录 以1.txt、2.txt为例 将测试数据传到hdfs的/input/datas目录 hadoop fs -mkdir /
Spark——IntelliJ IDEA中Spark应用程序连接远程Hadoop集群读写Hive表数据(Scala/Python)
aof
07-03 5924
很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作 (打jar包——>上传集群——>spark-submit) 这些步骤时，我们就可以在本地直连Hive，直接run你的Spark应用程序中的main函数即可。代码如下(版本为Spark2.0+)：   Scala版本 import org.apache.spark.sql.SparkSess...
在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包
程序员小陶的大数据分享
11-09 1万+
使用maven可以很方便的管理我们项目的依赖，不需要手动去加载项目依赖的ja包，也方便项目的迁移，所以我选择使用 maven 来管理hadoop的开发环境的jar包。 maven官网 JDK版本的要求 Hadoop 2.7 以及之后的版本，需要JDK 7； Hadoop 2.6 以及之前的版本，支持JDK 6； 最好按照官方的来，要不然可能会出现一些小的bug。。。 我配置的版本是hadoop ...
hadoop伪分布式配置正确，https://Hadoop01:50070 （HDFS管理界面）不能访问的解决方法
weixin_46375185的博客
09-23 2996
首先改用虚拟机IP访问 例如我的虚拟机IP为192.168.75.136 在浏览器输入发现可以访问。 出现以上情况解决办法： 进入电脑C盘 C:\Windows\System32\drivers\etc 文件夹下 用notepad++编辑hosts文件 保存之后再次访问https://Hadoop01:50070 此时就可以访问了。 ...
spark学习之maven导入依赖的一些问题
scfvlog的博客
10-29 2916
maven版本过高会无法导入部分scala的依赖，但也不必担心我们换一个版本即可，我这里用的maven仓库版本是3.8.6差不多是最新版的了（现在最新版本的是4.0了），刚开始导入依赖会出现很多问题，maven提示下载好了，但是依赖并没有导入进来导致jar还是不可用，所以这时候我们应该改变version才可以。解决方法：我们换一种方式去导入，把版本也换了，这个时候我们发现maven无法下载了。问题真的多，我去上网查了之后人家让加一个阿里云的依赖就好了，然后我加了最后就好了，下面是完成体。
在IDEA运行spark程序（搭建Spark开发环境）
最新发布
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
关于hadoop各种项目中用到的maven依赖
weixin_30834783的博客
11-28 281
-----------------scala-spark <dependencies> <!--spark依赖--> <dependency> <groupId>org.apache.spark</groupId> <...
Spark大数据分析与实战：IDEA使用Maven构建Spark项目
热门推荐
?
04-05 3万+
Spark大数据分析与实战：IDEA使用Maven构建Spark项目 一、创建maven工程 二、修改pom.xml文件导入依赖 pom.xml文件代码如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi
Idea中搭建Spark开发环境：Maven、Scala与依赖配置详解
总结来说，这篇文档提供了如何在IntelliJ IDEA上使用Maven作为构建工具，结合Scala和Spark进行大数据处理应用的完整环境配置步骤，包括了Scala插件的安装，Maven仓库的配置，依赖项的添加，以及项目的构建和测试。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值