SparkContext初始化--Scala篇

SparkContext初始化

相关知识

• SparkConf 是SparkContext的构造参数，储存着Spark相关的配置信息，且必须指定Master（比如Local）和AppName（应用名称），否则会抛出异常。
• SparkContext 是程序执行的入口，一个SparkContext代表一个Application。

初始化过程的主要核心：

1. 依据SparkConf创建一个Spark执行环境SparkEnv；
2. 创建并初始化Spark UI，方便用户监控，默认端口为4040；
3. 设置Hadoop相关配置及Executor环境变量；
4. 创建和启动TaskScheduler，DAGScheduler。

初始化方式

1. val conf = new SparkConf().setAppName(appName).setMaster(master)
2. val sc=new SparkContext(conf)

程序运行完后需使用sc.stop()关闭SparkContext

编程要求

根据提示，在右侧编辑器补充代码，使程序正确运行,输出helloworld。

Master需指定为local模式，指定 AppName为educoder。

import org.apache.spark.{SparkConf, SparkContext}

object Test {

  def main(args: Array[String]): Unit = {

    /********** Begin **********/

    //第一步：设置SparkConf

  //第二步：初始化SparkContext

  val conf = new SparkConf().setAppName("educoder").setMaster("local")

  val sc=new SparkContext(conf)

  /********** End **********/

  sc.parallelize(Seq("helloworld")).collect().foreach(println)

  /********** Begin **********/

  //第三步：关闭SparkContext

    sc.stop()

    /********** End **********/

  }

}