Spark源码阅读(一): ShuffleWriter解析
Spark的Shuffle过程比较复杂,对于源码也是看过多次记不住。简单整理一下,不会太深入每个源码的细节。大概梳理shuffle的过程,持续优化内容。以join为例:val rdd = rdd1.join(rdd2)// 以下是join方法def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))] = self.withScope { join(other, defaultPartitioner(self, other))}// defau
原创
2021-04-10 19:18:13 ·
400 阅读 ·
0 评论