![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Shuffle
Yannick_J
Yes-亚历山大的陀螺
展开
-
Spark Core 子模块 Shuffle 分析
一、前言1.相关版本:Spark Master branch(2018.10, compiled-version spark-2.5.0, 相关的测试设置了spark.shuffle.sort.bypassMergeThreshold 1 和YARN-client 模式) ,HiBench-6.0 and Hadoop-2.7.12.建议先了解Spark 的 RDD、DAG、M...原创 2019-03-26 15:04:24 · 139 阅读 · 0 评论 -
Spark Shuffle Read 阶段里的 fetch block 源码分析
一、前言目的是分析Spark Shuffle Read 阶段里的 fetch block 流程,看是否有优化的空间或者优化的配置参数1.相关版本:Spark Master branch(2018.10, compiled-version spark-2.5.0, 相关的测试设置了spark.shuffle.sort.bypassMergeThreshold 1 和YARN-...原创 2019-04-02 21:55:22 · 1385 阅读 · 0 评论