hadoop 参数设置收集

Reduce 个数设置

hadoop的参数会受客户端设置参数影响，我的任务在hadoop上运行时reduce个数总是1，查看hadoop安装路径下的conf文件夹中的配置文件，查看/conf/hadoop-site.xml  或者/conf/hadoop-default.xml，查找：

<property>
  <name>mapred.reduce.tasks</name>
  <value>1</value>
  <description>The default number of reduce tasks per job.  Typically set
  to a prime close to the number of available hosts.  Ignored when
  mapred.job.tracker is "local".
  </description>
</property>

需要对这个参数进行修改，修改为：

<property>
  <name>mapred.reduce.tasks</name>
  <value>11</value>
  <description>The default number of reduce tasks per job.  Typically set
  to a prime close to the number of available hosts.  Ignored when
  mapred.job.tracker is "local".
  </description>
</property>

之后运行检查reduce个数，此时reduce个数为：11。修改成功。