【HADOOP】hadoop streaming指定不执行reducer过程

有时候，我们只需要对文件做并发处理，并不关心相同key的记录间的关系。

这时，只需要map函数处理输入数据。

如果不指定reducer选项，系统仍然会默认执行一次cat命令。

如何去了不必要的分桶排序操作呢？

方法一：

把mapred.reduce.tasks设置为零，Map/reduce框架就不会创建reducer任务，mapper任务的输出就是整个作业的最终输出。

方法二：

“-reduce None”选项，它与“-jobconf mapred.reduce.tasks=0”等价。