![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
源码
文章平均质量分 52
chlhyj
这个作者很懒,什么都没留下…
展开
-
DAGScheduler的原理剖析以及源码解析
原理讲解DAGScheduler的stage划分算法:会从触发的action操作的那个rdd开始往前倒推,首先会为最后一个rdd创建一个stage,然后往前倒推的时候,如果发现对某个rdd是宽依赖,那么就会将宽依赖的那个rdd创建一个新的stage,那个rdd就是对新的stage的最后一个rdd,然后依次类推,继续往前倒推,根据宽窄依赖,进行stage的划分,直到所有的rdd全部遍历完了为之。原创 2018-01-22 16:42:44 · 349 阅读 · 0 评论 -
TaskScheduler源码解析
TaskScheduler源码解析原创 2018-01-23 11:02:18 · 279 阅读 · 0 评论