hdfs 机架感知和复制因子的设置

最新推荐文章于 2024-02-17 21:37:47 发布

weixin_30343157

最新推荐文章于 2024-02-17 21:37:47 发布

阅读量115

点赞数

文章标签： python 大数据

原文链接：http://www.cnblogs.com/huaxiaoyao/p/5024516.html

版权

dfs.replication
新更新的复制因子的参数对原来的文件不起作用。
譬如说，原来的复制因子是2，则原来文件上传的时候就只有两个副本。
现在把dfs.replication设置为3，重新启动hdfs.不会把原来2个副本的变成三个副本。
如果你需要这样，请执行下面的命令：
hadoop fs -setrep -R 3 /
如果你只有2个datanode，但是你却指定副本数为3，是不会生效的，因为每个datanode上只能存放一个副本。
机架感知示例：

保存以下代码为rackware.py
把你自己集群的机器配置替换下面代码中{}的部分。
#!/usr/bin/python
#-*-coding:UTF-8 -*-
import sys

rack = {
                                "nn1":"rack1",
                                "nn2":"rack2",
                                "dn1":"rack3",
                                "192.168.56.120":"rack1",
                                "192.168.56.121":"rack2",
                                "192.168.56.122":"rack3",
                                }

if __name__=="__main__":
print "/" + rack.get(sys.argv[1],"rack0")

hdfs-site.xml
配置
<property>
<name>topology.script.file.name</name>
<value>/path/to/rackware.py</value>
</property>

转载于:https://www.cnblogs.com/huaxiaoyao/p/5024516.html