Hadoop数据倾斜问题

数据倾斜：大量的key被partition分配到一个分区里，mapreduce程序执行时，导致承担大量key的reduce节点运行慢，而由于木桶效应，整个程序的处理时间取决于最后的reduce节点，这就是数据倾斜。直观解释就是：忙的忙死，闲的闲死。

解决方案:

   1.增加jvm（java虚拟机）内存。

   2.增加reduce的个数。

   3.自定义分区，用户自己继承partition类，指定分区策略，这种方式效果比较显著。

   4.重新设计key，在map阶段时给key加上一个随机数，有了随机数的key就不会被大量的分配到同一节点，待到reduce后再把随机数去掉即可。在map阶段将造成倾斜的key先分成多组，例如aaa这个key，map时随机在aaa后面加上1,2,3,4这四个数字之一，把key先分成四组，先进行一次运算，之后再恢复key进行最终运算。

   5.使用combinner合并，combinner是在map阶段，reduce之前的一个中间阶段，在这个阶段可以选择性的把大量的相同key数据先进行一个合并，可以看做是local reduce，然后再交给reduce来处理，这样不但减轻了map端向reduce端发送的数据量（减轻了网络带宽），也减轻了map端和reduce端中间的shuffle阶段的数据拉取数量(本地化磁盘IO速率)，推荐使用这种方法。

  6.能先进行group操作的时候先进行group操作，把key先进行一次reduce，之后再进行count或者distinct count操作。

  7.join操作中，使用map join在map端就先进行 join，免得到reduce 时卡住。