【hadoop】shuffle过程的优化

shuffle 过程的优化（MapReduce 的优化）

combiner 合并优化

在 map 阶段提前进行了一次合并，一般来讲等同于提前执行了 reduce 操作
好处：可以降低 reduce 的压力

为什么说在 map 阶段提前运行 reduce 方法可以降低 reduce 的压力？

在 map阶段的进行合并是并行的（分布式的）。

combiner 合并可以解决数据倾斜问题：

什么是数据倾斜：简单来将，就是数据分配不均匀
换个通俗易懂的解释，就是一帮人干活，累的累死，闲的闲死
可以选择性的把大量的相同 key 数据先进行一个合并
然后再交给 reduce 来处理，这样做的好处很多
即减轻了 map 端向 reduce 端发送的数据量 (减轻了网络带宽)
也减轻了 map 端和 reduce 端中间的 shuffle 阶段的数据拉取数量 (本地化磁盘 IO 速率)

注意：不是所有处理数据时都可以使用合并，只有当处理的数据的 value 相同时，才可以使用 combiner 合并进行优化

compress 压缩优化：大大减少磁盘 IO 以及网络 IO

MapReduce 有很多地方都可以压缩
输入的就是一个压缩文件
map shuffle 中合并成一个大文件，对该文件进行压缩，reduce 过来取数据就是压缩之后的数

检查本地库支持哪些压缩：

bin/hadoop checknative

修改压缩库，只需要替换 native 包即可,常用用的压缩格式：snappy；lzo；lz4

配置方式：

方式一：main方法中Configuration

方式二：在配置文件中
全局修改，所有MapReduce都生效
方式三：运行的时候通过自定义配置
bin/yarn jar xxx.jar -DXX=yy -Daa=bb MianClass input_path output_Path

检查是否配置成功

方式一：8088ui界面 -》history -》Configuration-》查看对应配置参数
方式二：查看计数器，Linux 中的结果输出信息

计数器：

http://blog.songchunmin.com/701.html

在 map 或者 reduce 中使用计数器

context.getCounter(Temperature.TOTAL).increment(1);