Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向

一.环境

 

IP	Host 及安装软件	部署模块	进程
172.16.101.55	sht-sgmhadoopnn-01 hadoop	NameNode ResourceManager	NameNode DFSZKFailoverController ResourceManager
172.16.101.56	sht-sgmhadoopnn-02 hadoop	NameNode ResourceManager	NameNode DFSZKFailoverController ResourceManager
172.16.101.58	sht-sgmhadoopdn-01 hadoop、zookeeper	DataNode NodeManager Zookeeper	DataNode NodeManager JournalNode QuorumPeerMain
172.16.101.59	sht-sgmhadoopdn-02 Hadoop、zookeeper	DataNode NodeManager Zookeeper	DataNode NodeManager JournalNode QuorumPeerMain
172.16.101.60	sht-sgmhadoopdn-03 Hadoop、zookeeper	DataNode NodeManager Zookeeper	DataNode NodeManager JournalNode QuorumPeerMain
172.16.101.66	sht-sgmhadoopdn-04(add/del) Hadoop	DataNode NodeManager	DataNode NodeManager

###当前环境是hadoop-2.7.2+zookeeper-3.4.6完全分布式环境，HDFS HA+YARN HA。
在hdfs-site.xml文件中，dfs.replication为3。          
             
                 dfs.replication
                 3
              

#下面均采取动态添加、删除节点方式,而不是静态方式(相当于起初部署集群一样，停止namenode，新增一个datanode数据节点，这种方法不适合用于线上提供服务的场景，具体操作，查看参考链接)。

二.动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】
http://blog.itpub.net/30089851/viewspace-2055168/

三.添加DataNode节点后,更改文件复制策略dfs.replication
http://blog.itpub.net/30089851/viewspace-2047825/

四.动态删除DataNode和NodeManager节点(修改dfs.replication) 【终极版】
http://blog.itpub.net/30089851/viewspace-2049648/

五.参考
http://my.oschina.net/leoleong/blog/477508

http://www.aboutyun.com/thread-7532-1-1.html

http://www.wtoutiao.com/p/Z24iFG.html

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30089851/viewspace-2043018/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30089851/viewspace-2043018/