Spark代码流程
1. 创建SparkConf对象
可以设置Application name。
可以设置运行模式及资源需求。
java示例:
SparkConf conf = new SparkConf();
conf.setMaster("local").setAppName("wordcount");
scala示例:
val conf = new SparkConf()
conf.setMaster("local").setAppName("wordcount");
2. 创建SparkContext对象
java示例:
JavaSparkContext sc = new JavaSparkContext(conf);
scala示例:
val sc = new SparkContext(conf)
3. 基于Spark的上下文创建一个RDD,对RDD进行处理。
4. 应用程序中要有Action类算子来触发Transformation类算子执行。
5. 关闭Spark上下文对象SparkContext。
sc.stop()