SparkContext解析
SparkContext是用户通往Spark集群的唯一入口,任何需要使用Spark的地方都需要先创建SparkContext,那么SparkContext做了什么?
首先SparkContext是在Driver程序里面启动的,可以看做Driver程序和Spark集群的一个连接,SparkContext在初始化的时候,创建了很多对象:
上图列出了SparkContext在初始化创建的时候的一些主要组件的构建。
SparkContext创建过程
创建过程如下: