MapReduce调优方案

在map与reduce阶段有时候可能会出现各种非理想化的情景，导致数据计算和处理时会遇到一些瓶颈或问题，这里就列出来一些可参考的调优方案：

---

Map阶段调优：

• 自定义分区，减少数据倾斜；可以自定义一个类，继承Partitioner类，重写getPartition方法。这么做是因为有些业务场景中可能某个相同的key值对应的数据量太大，造成某个ReduceTask承担较大压力，这时我们可以通过自定义分区的方法，将key值在原来的基础上加上一些随机数，比如1，2，3，这样就可以将原来相同的key分放在不同的分区中，减轻某个单一ReduceTask的压力，以防止数据倾斜。
• 减少溢写次数；可以通过增大环形缓冲区的大小(mapreduce.task.io.sort.mb，默认是100MB)和增大环形缓冲区溢写的阈值(mapreduce.map.sort.spill.percent，默认是80%)来实现。因为这两个配置增大之后，就会减少溢写的次数，这样就会减少溢写文件，从而也就会减少后面合并溢写文件的次数等等后续操作，效率就会提高。
• 提高每次Merge的个数；通过提高mapreduce.task.io.sort.factor参数的值，可以使每次merge的spill个数增多，提高效率。
• 使用Snappy或LZO对mapTask写磁盘的数据进行压缩；由于map阶段产生的数据会写入磁盘，等待Reduce端来拉取数据，而如果这个数据量太大，在网络传输过程中就会消耗较多的资源，那么此时我们可以先将map阶段写出的数据进行压缩࿰