Hadoop动态添加节点

1 Hadoop动态添加节点

(一)设置新节点与集群NameNode的SSH无密码登录

(二)在hosts文件中添加主机名和IP地址,并将该文件同步到集群其它节点

(三)修改hadoop配置文件slaves,加入新节点的主机名

(四)在新节点通过命令hadoop-daemon.sh start datanode和yarn-daemon.sh start nodemanager启动datanode和nodemanager进程

(五)在新节点中通过命令start-balancer.sh均衡当前的HDFS块,在执行前可通过命令Hdfs dfsadmin -setBalancerBandwidth字节数 设置带宽

2 Hadoop动态删除节点

(一)在hadoop配置文件hdfs-site.xml中配置如下:

<property>

<name>dfs.hosts.exclude</name>

<value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop/exclude</value>

</property>

(二)在配置文件exclude中添加需要删除的节点主机名

(三)通过命令hdfs dfsadmin -refreshNodes执行节点刷新操作

(四)通过命令hdfs dfsadmin -report可查看该节点状况

3 HBase动态添加节点

(一)在HBase的配置文件regionserver中添加新节点的主机名

(二)在新节点通过命令hbase-daemon.sh start regionserver启动HRegionServer

(三)进入hbase shell,通过命令balance_switch true进行region平衡

4 HBase动态删除节点

(一)通过命令graceful_stop.sh主机名 停止需要删除的节点

(二)在HBase的配置文件regionserver中移除删除节点的主机名

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值