Spark--01eclipse java spark环境搭建

前提：

安装 eclipse4.3 EclipseJava EE IDE for Web Developers.Version: Juno Release

安装 jdk1.7

相关组件准备：

第一步：下载spark-1.3.0-bin-hadoop2.6.tgz到本地，并解压在本地目录

       地址为：http://spark.apache.org/downloads.html

这里选择了已经为Hadoop2.4编译好的版本，为了能和Hadoop2.4更好的结合。当然有能力你可自己编译。

 

第二步：下载windows下hadoop工具包（分为32位和64位的），在本地新建一个hadoop目录，必须有 bin目录例如：D:\spark\hadoop-2.6.0\bin

       然后将winutil等文件放在bin目录下

       地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

第三步：配置hadoop和spark的环境变量：

环境配置分两种模式：

 

方式一：

　　1、新建环境变量：

　　　　HADOOP_HOME 例如：D:\spark\hadoop-2.6.0

　　　　SPARK_HOME   例如：E:\spark\spark-2.1.0-bin-hadoop2.7

演示：

1.1.解压缩文件

1.2.系统环境变量配置

1)新建SPARK_HOME。

2)修改Path

3)检测环境变量

 

　　2、将新建的变量加入path中

　　　　例如：%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

方式二：(不推荐)

直接将hadoop和spark的bin目录的绝对路径放入path中

 

测试是否安装成功：

　　spark：在dos命令中输入spark-shell,出现SPARK字形图案，最终出现scala命令行

　　hadoop：在dos命令中输入hadoop

重点：

eclipse中集成spark开发环境：

步骤一：安装scala插件

安装eclipse-scala-plugin插件，下载地址http://scala-ide.org/download/prev-stable.html

解压缩以后把plugins和features复制到eclipse目录，重启eclipse以后即可。

Window -> Open Perspective -> Other…，打开Scala，说明安装成功。

步骤二：安装hadoop插件

1、将hadoop-eclipse-plugin-2.6.0包放入eclipse的plugins目录里，重启eclipse

2、window-->preferences-->搜索hadoop，选中，然后找到hadoop的文件路径

Java Spark WordCountDmeo案例：

在整个操作中，环境搭建重点在于软件和组件的匹配。然后在项目编写中侧重的是jar包依赖。Maven使用中网络环境对整个jar包下载产生严重影响，让笔者爆出很多意外的错误：

1、Caused by: java.lang.ClassNotFoundException:org.spark-project.guava.util.concurrent.ThreadFactoryBu

此错误产生的原因是windows本地的spark并没有配置。guava.util.concurrent.ThreadFactoryBu类属于google.guavajar包；

2、org/apache/commons/configuration/configuration、 

java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName等类找不到都有可能是因为maven网络问题导致的jar没有扩展加入进来。

3、整个项目操作总可以适当使用run asàmaven clean、mavenàupdate dependenyce，projectàclean等，个别情况可以考虑重启eclipse解决问题。

 

1、新建maven工程

2、修改POM.xml文件

<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">   <modelVersion>4.0.0</modelVersion>     <groupId>com.dt.spark</groupId>   <artifactId>SparkApps</artifactId>   <version>0.0.1-SNAPSHOT</version>   <packaging>jar</packaging>     <name>SparkApps</name>   <url>http://maven.apache.org</url>     <properties>     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>   </properties>     <dependencies>     <dependency>       <groupId>junit</groupId>       <artifactId>junit</artifactId>       <version>3.8.1</version>       <scope>test</scope>     </dependency>     <dependency>        <groupId>org.apache.spark</groupId>       <artifactId>spark-core_2.10</artifactId>       <version>1.3.0</version>     </dependency>     <dependency>       <groupId>org.apache.spark</groupId>       <artifactId>spark-sql_2.10</artifactId>       <version>1.3.0</version>       </dependency>     <dependency>       <groupId>org.apache.spark</groupId>       <artifactId>spark-hive_2.10</artifactId>       <version>1.3.0</version>     </dependency>     <dependency>       <groupId>org.apache.spark</groupId>       <artifactId>spark-streaming_2.10</artifactId>       <version>1.3.0</version>     </dependency>     <dependency>       <groupId>org.apache.hadoop</groupId>       <artifactId>hadoop-client</artifactId>       <version>2.6.4</version>     </dependency>     <dependency>       <groupId>org.apache.spark</groupId>       <artifactId>spark-streaming-kafka_2.10</artifactId>       <version>1.3.0</version>     </dependency>   </dependencies>   <build>     <sourceDirectory>src/main/java</sourceDirectory>     <testSourceDirectory>src/main/test</testSourceDirectory>       <plugins>       <plugin>         <artifactId>maven-assembly-plugin</artifactId>         <configuration>           <descriptorRefs>             <descriptorRef>jar-with-dependencies</descriptorRef>           </descriptorRefs>           <archive>             <manifest>               <mainClass></mainClass>             </manifest>           </archive>         </configuration>         <executions>           <execution>             <id>make-assembly</id>             <phase>package</phase>             <goals>               <goal>single</goal>             </goals>           </execution>         </executions>       </plugin>         <plugin>         <groupId>org.codehaus.mojo</groupId>         <artifactId>exec-maven-plugin</artifactId>         <version>1.2.1</version>         <executions>           <execution>             <goals>               <goal>exec</goal>             </goals>           </execution>         </executions>         <configuration>           <executable>java</executable>           <includeProjectDependencies>true</includeProjectDependencies>           <includePluginDependencies>false</includePluginDependencies>           <classpathScope>compile</classpathScope>           <mainClass>com.dt.spark.App</mainClass>         </configuration>       </plugin>         <plugin>         <groupId>org.apache.maven.plugins</groupId>         <artifactId>maven-compiler-plugin</artifactId>         <configuration>           <source>1.6</source>           <target>1.6</target>         </configuration>       </plugin>       </plugins>   </build> </project>

详细代码WordCount见下一文章，谢谢。