hadoop修改MR的提交的代码程序的副本数

hadoop修改MR的提交的代码程序的副本数

Under-Replicated Blocks的数量很多,有7万多个。hadoop fsck -blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。
原因：MR,hive 的程序代码上传到hdfs上，默认的副本数是10份，但集群只有4台，造成大量的 Under-Replicated Blocks 和 missing replicas.

1. 修改MR的提交的代码程序的副本数。

vi mapred-site.xml

<property>
  <name>mapreduce.client.submit.file.replication</name>
  <value>2</value>
</property>

mapreduce.client.submit.file.replication的值在集群节点数的平方根左右。

vi yarn-site.xml (apache hadoop 2.7.2 有该参数；cdh没有改参数)
yarn.sharedcache.nm.uploader.replication.factor

转载于:https://www.cnblogs.com/honeybee/p/6061984.html