【hadoop】shuffle过程的优化

shuffle 过程的优化（MapReduce 的优化）

combiner 合并优化

在 map 阶段提前进行了一次合并，一般来讲等同于提前执行了 reduce 操作
好处：可以降低 reduce 的压力

为什么说在 map 阶段提前运行 reduce 方法可以降低 reduce 的压力？

在 map阶段的进行合并是并行的（分布式的）。

combiner 合并可以解决数据倾斜问题：

什么是数据倾斜：简单来将，就是数据分配不均匀
换个通俗易懂的解释，就是一帮人干活，累的累死，闲的闲死
可以选择性的把大量的相同 key 数据先进行一个合并
然后再交给 reduce 来处理，这样做的好处很多
即减轻了 map 端向 reduce 端发送的数据量 (减轻了网络带宽)
也减轻了 map 端和 reduce 端中间的 shuffle 阶段的数据拉取数量 (本地化磁盘 IO 速率)

注意：不是所有处理数据时都可以使用合并，只有当处理的数据的 value 相同时，才可以使用 combiner 合并进行优化

compress 压缩优化：大大减少磁盘 IO 以及网络 IO

M