shuffle
MR确保每个reducer的输入都是按key排序的，系统执行排序，将map输入传给reduce的过程叫shuffle
map端
1) map输出：不是直接写到磁盘，而是利用缓冲写到内存并进行预排序
2) shuffle
> 每个map任务有环形内存缓冲区用于存储任务输出，到达80%时，后台线程开始将缓冲区内容溢出到磁盘，边溢出边写入，如果缓冲区写满，map会阻塞直到spill过程完成。溢出按照轮询方式写入
mapreduce.task.io.sort.mb缓冲区大小，默认
MapReduce运行机制(三) shuffle和sort和shuffle调优
最新推荐文章于 2020-07-01 10:52:13 发布
本文详细介绍了MapReduce的shuffle过程，包括map端的预排序、溢出到磁盘、分区排序、combiner运行以及reduce端的复制、合并和排序阶段。还探讨了shuffle调优策略，旨在优化内存使用和避免频繁磁盘溢出，以提升MapReduce任务性能。
最低0.47元/天 解锁文章
284
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
