1. Spark的Java开发包
Spark提供Java的开发包,当前最新版本是2.0.2版本:spark-core_2.11-2.0.2.jar,可以从下面链接下载:
http://central.maven.org/maven2/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar
或者通过Maven配置:
* Spark 2.0.2版本需要Java 7或以上,本文使用Java 1.8.0_72版本
2. 初始化Spark
要使用Spark,第一步必须创建JavaSparkContext对象:
Spark提供Java的开发包,当前最新版本是2.0.2版本:spark-core_2.11-2.0.2.jar,可以从下面链接下载:
http://central.maven.org/maven2/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar
或者通过Maven配置:
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.0.2</version> </dependency>
* Spark 2.0.2版本需要Java 7或以上,本文使用Java 1.8.0_72版本
2. 初始化Spark
要使用Spark,第一步必须创建JavaSparkContext对象:
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
public class HelloSpark {
public static void main(String[] args) {
SparkConf conf = new SparkConf(