本文深入探讨Spark Shuffle Read的过程，从ShuffledRDD的compute开始，详细解析Shuffle Manager如何获取Shuffle Reader，以及数据读取策略，包括本地读取和远程数据获取的细节。涉及关键组件如ExternalSorter、BlockStoreShuffleFetcher和ShuffleBlockFetcherIterator的工作原理。
回忆一下，每个Stage的上边界，要么需要从外部存储读取数据，要么需要读取上一个Stage的输出；而下边界，要么是需要写入本地文件系统（需要Shuffle），以供childStage读取，要么是最后一个Stage，需要输出结果。这里的Stage，在运行时的时候就是可以以pipeline的方式运行的一组Task，除了最后一个Stage对应的是ResultTask，其余的Stage对应的都是ShuffleMap Task。
而除了需要从外部存储读取数据和RDD已经做过cache或者checkpoint的Task，一般Task的开始都是从ShuffledRDD的ShuffleRead开始的。本节将详细讲解Shuffle Read的过程。
先看一下ShuffleRead的整体架构图。
org.apache.spark.rdd.ShuffledRDD#compute 开始，通过调用org.apache.spark.shuffle.Shuf
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
