![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark内核
老菜啦
这个作者很懒,什么都没留下…
展开
-
Spark内核之Task调度规则
FIFO调度器 源码: private[spark] class FIFOSchedulingAlgorithm extends SchedulingAlgorithm { override def comparator(s1: Schedulable, s2: Schedulable): Boolean = { val priority1 = s1.priority val ...原创 2020-04-11 14:57:05 · 535 阅读 · 0 评论 -
Spark内核之shuffle过程总结(流程图绘制)
HashShuffle(1.6后已经取消) 流程图 通过该流程图可以看出,HashShuffle的最大缺点就是在写入磁盘时,会产生大量文件,文件为为 ReduceTask的个数×MapTask个数,因此有了一种对HashShuffle过程进行优化的shuffle过程,他减少了写入磁盘的文件数,同一个core上调用的不同task共享同一个缓冲区与磁盘文件,这样就减小了文件数,文件数=该任务使用的c...原创 2020-04-11 19:34:41 · 427 阅读 · 0 评论