Hadoop18：【案例】MapReduce性能优化之数据倾斜问题解决方案

在实际工作中，如果我们想提高MapReduce的执行效率，最直接的方法是什么呢？
我们知道MapReduce是分为Map阶段和Reduce阶段，其实提高执行效率就是提高这两个阶段的执行效率
默认情况下Map阶段中Map任务的个数是和数据的InputSplit相关的，InputSplit的个数一般是和Block块是有关联的，所以可以认为Map任务的个数和数据的block块个数有关系，针对Map任务的个数我们一般是不需要干预的，除非是前面我们说的海量小文件，那个时候可以考虑把小文件合并成大文件。其他情况是不需要调整的，
那就剩下Reduce阶段了，咱们前面说过，默认情况下reduce的个数是1个，所以现在MapReduce任务的压力就集中在Reduce阶段了，如果说数据量比较大的时候，一个reduce任务处理起来肯定是比较慢的，所以我们可以考虑增加reduce任务的个数，这样就可以实现数据分流了，提高计算效率了。

但是注意了，如果增加Reduce的个数，那肯定是要对数据进行分区的，分区之后，每一个分区的数据会被一个reduce任务处理。
那如何增加分区呢？
我们来看一下代码，进入WordCountJob中，
其实我们可以通过job.setPartitionerClass来设置分区类，不过目前我们是没有设置的，那框架中是不是有默认值啊，是有的，我们可以通过job.getPartitionerClass方法看到默认情况下会使用HashPartitioner这个分区类

那我们来看一下HashPartitioner的实现是什么样子的

/**