mapreduce与Spark的map-Shuffle-reduce过程 mapreduce过程解析(mapreduce采用的是sort-based shuffle) 将获取到的数据分片partit
mapreduce与Spark的map-Shuffle-reduce过程
mapreduce过程解析(mapreduce采用的是sort-based shuffle)
将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.
map函数处理完成之后,进入collect阶段,对处理后的k/v对进行收集,存储在内存的环形缓冲区中。
当环形缓冲区中的数据达到...
转载
2017-08-01 11:37:37 ·
305 阅读 ·
0 评论