Hadoop 解决数据倾斜方法

一般发生在 reduce端，其他任务10s以内就执行完了，有一个任务执行了50分钟还没有执行完，程序卡在99%不动了，甚至爆出了内存溢出。

原因分析：

1. 导致数据倾斜的 key 大量分布在相同的 mapper，map 端解决：

   提前在 map 进行 combine，减少传输的数据量。
   在 Mapper 加上 combiner 相当于提前进行 reduce，即把一个 Mapper 中的相同 key 进行了聚合，减少了 shuffle 过程中传输的数据量，以及 Reducer 端的计算量。

2. 导致数据倾斜的 key 大量分布在不同的 mapper，reduce 端解决：
   a. 局部聚合加全局聚合：
   第一次在 map 阶段对那些导致了数据倾斜的 key 加上 1 到 n 的随机前缀，这样本来相同的 key 也会被分到多个 Reducer 中进行局部聚合，数据就会大大降低。
   第二次 mapreduce，去掉 key 的随机前缀，进行全局聚合。
   思想：两次 mapreduce，第一次将 key 随机散列到不同 reducer 进行处理达到负载均衡目的。第二次再根据去掉 key 的随机前缀，按原 key 进行 reduce 处理。
   这个方法进行两次 mapreduce，性能稍差。

   b. 增加 Reducer，提升并行度
   JobConf.setNumReduceTasks(int)

   c. 实现自定义分区
   根据数据分布情况，自定义散列函数，将 key 均匀分配到不同 Reducer。