Hadoop维护实战 设置hdfs副本数 dfs.replication

有个临时应用，使用临时调配的机器，机器磁盘差别数十倍。

在使用hadoop存储数据时导致小磁盘机器使用率达80%多，而大磁盘机器使用不过才10%多一点。


明显的hadoop集群各datanode空间使用率很不均衡，需要重新balance。于是想到了hdfs的均衡器balancer。

sbin/start-balancer.sh -threshold 10

但是在执行hdfs的balancer时会自动退出，不执行，也没有发现Error或者Warning。

但在out文件中可以看到一些信息：

balancer已经计算出要移动的数据量，但是就是没有移动，只是提示：

No block has been moved for 5 iterations. Exiting...


原来hadoop balancer在进行转移block的时候是会判断的：

 * <p>The balancer automatically exits when any of the following five  

 * conditions is satisfied: 

 * <ol> 

 * <li>The cluster is balanced; 

 * <li>No block can be moved; 

 * <li>No block has been moved for five consecutive(连续) iterations; 

 * <li>An IOException occurs while communicating with the namenode; 

 * <li>Another balancer is running. 

 * </ol> 

 * 下面5种情况会导致Balance操作的失败 

 * 1、整个集群已经达到平衡状态 

 * 2、经过计算发现没有可以被移动的block块 

 * 3、在连续5次的迭代中，没有block块被移动 

 * 4、当datanode节点与namenode节点通信的时候，发生IO异常 

 * 5、已经存在一个Balance操作 

显然是第三点问题了，log里显示执行了5次迭代但都每移动，应该是多副本的原因，迭代的block在大磁盘机器上都已经存在，那边都已经存在了，所以balancer移动进程就退出了。



不能执行均衡器了，那只有减少副本数了。

修改hdfs的副本数，首先想到的是修改hdfs-site.xml中的dfs.replication参数，默认为3，开始时设置成了2，现在索性修改为1，然后重启datanode命令：sbin/hadoop-daemon.sh start datanode

但似乎没有起作用，数据量没有变化，按理说应该大量数据减少才对啊。这又是为什么呢？

首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。

一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以在上传文件的同时指定创建的副本数。

如果你只有3个datanode，但是你却指定副本数为4，是不会生效的，因为每个datanode上只能存放一个副本。


啊，原来是这样，那就看下现在HDFS的副本数，并把它们都修改执行下，是不是有相应的hadoop shell命令呢？


Hadoop Commands和FileSystem Shell

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/CommandsManual.html

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html


执行 hadoop fsck /  查看整个目录的备份数分布,输出结果如下：

        Default replication factor  2

        Average block replication 2.38


修改hdfs文件备份系数：hadoop dfs -setrep [-R] <path> 如果有-R将修改子目录文件的性质。

hadoop dfs -setrep -w 1 -R /user/hadoop/dir1 就是把目录下所有文件备份系数设置为1.

这个需要一些时间，感觉会扫描所有指定目录下的文件。


修改完已经存储的文件后，记得要修改以后放入的数据副本数，这个就要看client端了，如果client端有设置，一定要修改。


上面的都执行后如果还是不均衡，此时可以再执行hdfs的均衡器balancer。


个人感觉以上的只是出现问题时的一个解决方案，期望不要出现这样的问题，毕竟数据量大了操作会有很大的影响的。

我们应该对dfs.replication的数值做出很好的规划，尽量避免需要降低该数值的情况出现。