Hadoop MapReduce reducerTask和partition的对应关系

Hadoop MapReduce reducerTask和partition的对应关系

在hadoopMR中，许多人的理解就是partition和reduceTask的关系就是一对一，这样理解没错，通常情况下reduceTask的数量和partition就是一对一的关系，但是他们不是绝对一对一的关系，reduceTask的数量由job提交时设置的numReducreTask决定。

partition只是决定这条数据应该去往哪个reduce，就打个标记，出了partition，这条数据就和他没什么关系了，最终applicationmaster根据提交job时设置的（假设为3）numreducetask数量开启指定数量个reducetask，编号0,1,2开始，最后生成对应数量个最终文件part-r-00000，part-r-00001，part-r-00002，partition给每个kv标记的键值对代表这条数据应该由哪一个reduce处理，如果partition给每条数据都写死，标记的partition值为0，那么所有的数据就都会输入到reduce0中处理，另外两个reduce就孤零零的从生到死，没有数据光顾，这个现象其实就是数据倾斜，手动数据倾斜，很强大。
日常工作中，有时会遇到不需要reduce的情况，map的输出结果直接写到HDFS中，这时就出现无reduce情况，job提交时就可以设置reduce数量为0，就不会开启reducertask，map直接通过textoutputformat把文件写到HDFS中，否则，即使没有定义过reduce逻辑，也会执行reduce。

总结：reducetask数量由job提交时的参数决定，生成文件数量由reducetask数量决定，数据去往哪个reduce处理由partition决定，一般情况下，多少个reduce对应多少个partition。

自己的理解，有错误欢迎指出。