MapReduce的shuffle阶段

Shuffle
为何需要shuffle
• Reduce阶段的数据来源于不同的Map
Shuffle由Map端和Reduce端组成
Shuffle的核心机制
• 数据分区+排序
Map端
• 对Map输出结果进行spill
Reduce端
• 拷贝Map端输出结果到本地
• 对拷贝的数据进行归并排序Shuffle Map端
Map端会源源不断的把数据输入到一个环形内存缓冲区
达到阈值(默认80%)时
• 新启动一个线程
• 把内存缓冲区的数据溢写到磁盘
在溢出的过程中
• Partitioner分组
• 对于每个组，按照key排序
Map处理完成后
• 对溢出到磁盘上的多个文件进行Merge操作
• 合并为一个大文件和一个索引文件Shuffle Reduce端
Map端完成之后后暴露一个Http Server给Reduce端获取数据使用
Reduce启动拷贝线程从各个Map端拷贝结果
• 大量的网络IO开销
一边拷贝一边进行Merge操作(归并排序)