SparkConf && SparkContext详解

官方介绍

首先我从官网介绍中知道,我们在创建spark应用程序之前 需要先创建 SparkContext对象, SparkContext,会告知 spark 如何去访问集群,要创建SparkContext您首先需要构建一个包含有关应用程序信息的SparkConf对象。

The first thing a Spark program must do is to create a SparkContext object, which tells Spark how to access a cluster.
To create a SparkContext you first need to build a SparkConf object that contains information about your application.

SparkConf

从官王的介绍处,我们知道,SparkContext 是spark应该程序的入口,而创建SparkContext之前,我们需要先创建SparkConf对象, 那么SparkConf 对象的主要 用途是什么呢?

SparkConf 主要用于配置 spark 应用程序, 以键值对的方式,对spark的关键参数,做设置,我们在创建的 SparkConf 对象 设置的spark 参数 优先级会高于 Spark环境中的配置信息;
一般来说,每个Spark应用程序的配置 必须包含 Master和 AppName 两个配置, 不过,建议在编写Spark应用程序的时候,我们不能采用硬编码的方式 配置这两项,应该在提交Spark应该程序的时候指定这两项配置.

SparkContext

SparkContext 的主要职能是作为每个Spark应用程序的入口, 会告知如何连接到Spark“集群” 比如 :local、standalone、yarn、mesos, 还可以 通过SparkContext来创建RDD、广播变量到集群;

在每个active 的JVM中SparkContext 是唯一存在的;