SparkContext初始化--Java篇

任务描述

本关任务：掌握如何实现SparkContext初始化。

相关知识

• SparkConf 是SparkContext的构造参数，储存着Spark相关的配置信息，且必须指定Master(比如Local)和AppName（应用名称），否则会抛出异常；
• SparkContext 是程序执行的入口，一个SparkContext代表一个 Application。

初始化过程的主要核心：

1. 依据SparkConf创建一个Spark执行环境SparkEnv；
2. 创建并初始化Spark UI，方便用户监控，默认端口为 4040；
3. 设置Hadoop相关配置及Executor环境变量；
4. 创建和启动TaskScheduler，DAGScheduler。

初始化方式：

1. SparkConf conf = new SparkConf().setAppName(appName).setMaster(master)
2. JavaSparkContext sc=new JavaSparkContext(conf)

程序运行完后需使用sc.stop()关闭SparkContext。

编程要求

根据提示，在右侧编辑器补充代码，使程序正确运行,输出[hello]。

Master 需指定为local模式，指定 AppName 为educoder。

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.SparkConf;

import java.util.Arrays;

import java.util.List;

public class Edu {

    public static void main(String[] args) {

        /********** Begin **********/

        //第一步：设置SparkConf

        String AppName="educoder";

        String Master="local";

        SparkConf conf = new SparkConf().setAppName("educoder").setMaster("local");

        //第二步：初始化SparkContext

       JavaSparkContext sc=new JavaSparkContext(conf);

        /********** End **********/

       

        List<String> data = Arrays.asList("hello");

        JavaRDD<String> r1 = sc.parallelize(data);

        System.out.print(r1.collect());

       

        /********** Begin **********/

        //第三步：关闭SparkContext

       sc.stop();

        /********** End **********/

    }

}