spark 内核源码学习(一)
spark 内核源码深度剖析
问题:怎么划分stage,stage之间是怎么调度的,为什么1,3并行,4,7并行
内核架构剖析
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dOHo6AUL-1629550583239)(./1626525185981.png)]
提交一个job,启动一个drive进程。
先构造SparkConf再构造SparkContext
在sparkContext时,先构造出来DAGScheduler和TaskScheduler。DAGSchedul
原创
2021-08-21 20:57:47 ·
233 阅读 ·
0 评论