Spark 源码解析(三) Saprk的组件三巨头初始化 TaskSchuduler,Backend,DAGScheduler
当我们初始化SparkContext的时候 会创建 很多的组件 这里详解一个 Spark的重要组件 TaskScheduler,Backend,DAGSCheduler val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)进入到SparkContext的createTaskScheduler方法中进行模式匹配// local模式 略过// standAlone 模式case SPARK_REGE
原创
2021-10-27 22:59:16 ·
677 阅读 ·
0 评论