2. 设置ReduceTask
在MapReduce框架中,Reducer的数量(即ReduceTask的数量)可以通过配置参数来设置。
设置方法
-
通过配置文件: 在
xmlmapred-site.xml
文件中设置mapreduce.job.reduces
参数:<property> <name>mapreduce.job.reduces</name> <value>5</value> <!-- 设置Reducer的数量 --> </property>
-
通过代码设置: 在MapReduce作业的配置代码中,可以通过
javaJob
类的setNumReduceTasks
方法设置Reducer的数量:Job job = Job.getInstance(new Configuration(), "My MapReduce Job"); job.setNumReduceTasks(5); // 设置Reducer的数量为5