MapReduce数据倾斜产生的原因及其解决方案

在shuffle的时候，必须在各个节点尚来去相同的key到某个节点尚的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大，就会发生数据倾斜。比如大部分key对饮10条数据，但个别key对应了100万条数据，那么大部分task可能只分配到10条数据，然后1秒就运行完；但是个别task可能分配到了100万数据，要运行一两个小时。

1. 提前在map进行combine，减少数据的数据量
   在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中相同key进行了聚合，减少了shuffle过程中传输的数据量，以及reducer端的计算量.(如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了)

2. 导致数据倾斜的key大量分布在不同的mapper
   (1)局部聚合加全局聚合
   第一次在map阶段对那些导致了数据倾斜的key加上1到n的随机前缀，这样本来相同的key也会被分到多个reducer中进行局部聚合，数量就会大大降低。第二次mapreduce，去掉key的随机前缀,进行全局聚合.
   思想：二次mr,第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀,按原key进行reduce处理.
   这个方法进行两次mapreduce，性能稍差。

   (2)增加Reducer,提高并行度. JobConf.setNumReduceTasks(int)

   (3)实现自定义分区 根据数据分布情况，自定义散列函数，将key均匀分布到不同reducer。

3. 利用group by代替distinct
   采用distinct会将所有的name的key都shuffle到一个reduce里面，就容易产生数据倾斜。采用group by +
   聚合函数的方式会将数据更据key分配到不同的reduce中，避免数据倾斜。