1.如何配置Eclipse来使用Java编写Spark App

1. 环境准备

• Eclipse 请不要使用最新的 Neon(4.6) ，太多Bug了。 还是使用最新的Mars(4.5) 系列吧
• JDK 版本8.x （Linux推荐Oracle， 没有测试过OpenJDK）
• 因为只是用Java，因此无需安装Scala及其相应的插件

2. 创建一个新的maven项目

3. pom.xml

<dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>2.6.0</version>
 <exclusions>
 <exclusion>
 <groupId>javax.servlet</groupId>
 <artifactId>*</artifactId>
 </exclusion>
 </exclusions>
</dependency>
<dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.10</artifactId>
 <version>1.6.1</version>
</dependency>
<dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-streaming_2.10</artifactId>
 <version>1.6.1</version>
</dependency>
<dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-mllib_2.10</artifactId>
 <version>1.6.1</version>
</dependency>
<dependency>
 <groupId>org.scala-lang</groupId>
 <artifactId>scala-library</artifactId>
 <version>2.10.5</version>
</dependency>

这里只列出了必要的几个依赖。 其他的请根据你自己的项目需求添加

4. 使用maven打包

右键项目-》run as-》maven build

之后在Goal 之中填写clean package 即可

如果在修改了与Spark相关的代码之后，需要重新编译打包才行。 否则会有异常提示。

5. 代码编写注意事项：

在创建JavaSparkContext的时候，需要把自己加进去。

public static JavaSparkContextgetContext(String taskName) {
 JavaSparkContextsc = new JavaSparkContext(SparkConnUtils.getSparkConf(taskName));
 sc.addJar("target/sparkstat-0.0.1-SNAPSHOT.jar");
 
 return sc;
}

其中target/sparkstat-0.0.1-SNAPSHOT.jar是maven 运行之后生成的完整的jar包

上面几步完成之后 就可以开些写属于你自己的Spark App啦

转载至：http://www.tuicool.com/articles/jyyaYnM

不通过Maven构建：

参考：http://www.cnblogs.com/key1309/p/5303557.html