![](https://img-blog.csdnimg.cn/20190905111718690.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark源码系列
MeKa
*^◎^*
展开
-
SparkEnv中RpcEnv的创建
1.描述:RpcEnv可以简单的描述为远程通信环境,在SparkContext创建SparkEnv过程中创建并传入多个部件中。部分不详细的地方可以参考:https://blog.csdn.net/qq_38601362/article/details/1000070902.SparkEnv.scala文件:源码第249行:val rpcEnv = RpcEnv.create(sys...原创 2019-08-24 17:12:26 · 172 阅读 · 0 评论 -
SparkConf
1.简介:SparkConf是Spark的配置管理器,是Spark 的开始--驱动器SparkContext的构造器重要的传参(虽然可以不传),意在更好地设置自己所需要的配置。2.构造方法:主构造方法://loadDefaults是否加载默认值class SparkConf(loadDefaults: Boolean) extends Cloneable with Loggi...原创 2019-08-21 08:46:23 · 401 阅读 · 0 评论 -
SparkContext
1.简介:SparkContext是Spark的驱动器,她的初始化中包含任务调度器、资源管理器、事件管理器和状态跟踪器等。2.构造方法:主构造方法://传入配置参数SparkConfclass SparkContext(config: SparkConf) extends Logging 辅助构造方法:def this() = this(new SparkConf(...原创 2019-08-21 19:22:35 · 1528 阅读 · 0 评论 -
SparkContext创建SparkEnv过程描述
1.简介:SparkContext是Spark的驱动器,SparkEnv是Spark的环境,这是创建驱动器环境的过程(其它的还有执行器环境),说的是创建驱动器环境的关键方法。2.相关方法:SparkContext.scala文件:创建的开始://在SparkContext初始化中,源码第434行。调用createSparkEnv方法创建//_conf:配置,isLocal...原创 2019-08-22 16:44:08 · 328 阅读 · 0 评论 -
SparkEnv
1.简介:保存正在运行的Spark实例(主服务器或工作服务器)的所有运行时环境对象,包括序列化程序,RpcEnv,块管理器,映射输出跟踪器等。目前Spark代码通过全局变量查找SparkEnv,因此所有线程都可以 访问相同的SparkEnv。 它可以通过SparkEnv.get访问(例如在创建SparkContext之后)。2.构造方法:class SparkEnv ( val ...原创 2019-08-22 21:04:32 · 108 阅读 · 0 评论 -
DAG的创建
从最简单的WordCount开始:def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val rdd1 = sc.textFile("C...原创 2019-08-30 17:08:07 · 281 阅读 · 0 评论 -
Spark任务提交
1.简介:当DAG创建好后就开始提交任务:println(rdd3.collect().toList)2.runJob:点进collect后一直跟着runJob前进,点进submitJob:eventProcessLoop.post(JobSubmitted( jobId, rdd, func2, partitions.toArray, callSite, waiter,...原创 2019-08-31 20:59:20 · 119 阅读 · 0 评论 -
Stage的创建
1.简介:任务提交调用:private def doOnReceive(event: DAGSchedulerEvent): Unit = event match { case JobSubmitted(jobId, rdd, func, partitions, callSite, listener, properties) => dagScheduler.hand...原创 2019-09-01 20:14:50 · 286 阅读 · 0 评论