4. Spark代码流程

Spark代码流程

1. 创建SparkConf对象

可以设置Application name。
可以设置运行模式及资源需求。

java示例:

	SparkConf conf = new SparkConf();
    conf.setMaster("local").setAppName("wordcount");

scala示例:

    val conf = new SparkConf()
    conf.setMaster("local").setAppName("wordcount");

2. 创建SparkContext对象

java示例:

    JavaSparkContext sc = new JavaSparkContext(conf);

scala示例:

    val sc = new SparkContext(conf)

3. 基于Spark的上下文创建一个RDD，对RDD进行处理。

4. 应用程序中要有Action类算子来触发Transformation类算子执行。

5. 关闭Spark上下文对象SparkContext。

sc.stop()