MapReduce解决数据倾斜

可以从一下三个方面入手：

一、业务逻辑方面

1、map端的key值进行hash的时候，可能得到的hash值相同，然而相同的hash值会分配给同一个reduce函数去处理，因此就会出现某一个reduce的工作量非常大，进而导致数据倾斜。因此解决数据倾斜可以优化定义你的hash函数。

2、还有就是，例如你对一部分数据进行了处理，这样将导致这部分数据与其他未处理数据不同，所以这些数据有可能出现在map端聚集，因此，可以在map任务在运行前，将处理过的数据与未处理的数据分开进行map任务。

二、程序方面

调整设计程序的思路。

三、调参方面

Hadoop自带了很多的参数和机制来调节数据倾斜，合理利用它们可以解决部分数据倾斜的问题。

四、数据处理方面

1、进行数据预处理。

2、有损方法：将异常数据过滤掉，比如说IP为0的数据删除。

3、无损的方法：对分布不均衡的数据单独计算，先对key做一次hash，将数据打散再并行运算。