最近在学spark,想在本地的IDEA里配置关于spark的环境,然后在本地运行spark程序,一路上跌跌撞撞遇到很多坑,看了很多的博客,虽然也有很多搭建的过程,但我遇到了太多的问题,所以特此记录一下。
文章里所提到的各类配置文件的下载网址在最后。
在IDEA里运行spark所需要的前期准备事项:
1.本地电脑里已经配置完成Scala
2.本地电脑里已经配置完成maven
3.本地电脑里已经配置完成Hadoop
(这里推荐本地电脑里配置这几种版本的Hadoop:
1、Hadoop-2.6.3
2、Hadoop-2.6.4
3、Hadoop-2.8.1
4、Hadoop-2.8.3
5、Hadoop-3.0.0
因为本地下载Hadoop版本之后的bin目录下可能会缺失一些文件导致IEDA加载不了spark程序,原因是缺少winutil.exe,这时就需要将自己本地的Hadoop目录中的bin目录与winutil的bin目录进行替换。)
这个错误长这样:
Could not locate executable E:\SoftWave\Hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries(这时就需要下载winutil更改bin目录。)
有了前期的准备我们就可以开始在IDEA里写spark了
一、
注:
1.创建的项目要是maven项目
2.要勾选上"create from archetype"这个小方块
3.jdk的版本选择1.8版本(如果电脑没有1.8,附录里有下载地址)
二、
自己取一个自己喜欢的如雷贯耳的项目名字。
三、修改自己的pom.xml文件:
这里附上我自己的pom.xml文件源码:(我尝试过很多配置文件,我这个不出意外没有问题,)
<properties>
<maven.compiler.source>1.5</maven.compiler.source>
<maven.compiler.target>1.5</maven.compiler.target>
<encoding>UTF-8</encoding>
<scala.version>2.11.8</scala.version>
<spark.version>2.1.0</spark.version>
</properties>
<dependencies>
<!--scala-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.spark-project.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.2.1.spark2</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.38</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi</artifactId>
<version>3.14</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.14</version>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<plugins>
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.0</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.6</version>
<configuration>
<useFile>false</useFile>
<disableXmlReport>true</disableXmlReport>
<includes>
<include>**/*Test.*</include>
<include>**/*Suite.*</include>
</includes>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass></mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
</plugin>
</plugins>
</build>
之后点击这个更新的小按钮就会自己下载配置文件了(这个过程因个人电脑而异,我的电脑比较慢,下载了将近二十分钟)。
下载之后如果遇到了这个问题,就是因为自己的maven中下载jar包的地址与系统给你设置的不匹配。
纠正方法:
在"File"->“settings"中选择"maven”
将:
1.user settings file的路径改为自己的maven文件下的conf文件下的settings.xml,并且在自己的settings.xml文件中添加进自己的maven相关jar包的路径(这个自己设置,在下图55行位置自行添加,这个路径就是"Local repository"的路径)
三、之后就可以测试spark代码:
1.开始创建(这里唯一要注意的是将Scala文件夹设置为"Resources Root")(右键单击scala,在选项框"Mark Directory as"中选择"Resources Root")
2.编写一个spark代码
我的students文件长这样:
点击运行:
跑出结果。
感谢阅读,
我是啊帅和和,一位大数据专业大三学生。
链接:
各类Hadoop版本的下载地址:http://archive.apache.org/dist/hadoop/core/
Maven3.x版本的下载地址:https://archive.apache.org/dist/maven/maven-3/
jdk1.8版本的下载地址:
http://www.downxia.com/downinfo/227852.html
winutil.exe的下载地址:
http://www.pc6.com/softview/SoftView_578664.html