Hadoop解决数据倾斜方法

1. 提前在map进行combine，减少传输的数据量

在Mapper加上combiner相当于提前进行Reduce，将Map端相同key进行聚合，减少shuffle过程中传输的数据量，以及Reduce的计算量。前提是不影响原计算逻辑。如果导致数据倾斜的key大量分布在不同的mapper的时候，这个方法就不是很有效了。

2. 导致数据倾斜的key大量分布在不同的mapper上

1. 局部聚合+全局聚合
   第一次mapreduce，在map阶段对导致数据倾斜的那些key加上1到n的随机前缀，这样本来相同的key也会被分到多个Reducer中进行聚合，数量就会大大降低。
   第二次mapreduce，去掉随机前缀，进行全局聚合。
   思想：两次MR，第一次将key随机散列到不同的reducer进行处理达到负载均衡的目的。第二次去掉key的随机前缀，进行全局聚合，得到结果。
   缺点：两次MR，性能稍差。
2. 增加Reducer，提升并行度
   JobConf.setNumReduceTasks(int)
3. 实现自定义分区
   根据数据分布情况，自定义散列函数，将key均匀分配到不同的Reducer。