Hadoop集群动态添加datanode节点步骤和hbase节点

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/onlyoncelove/article/details/79966995

hadoop2.5.2

一、在Hadoop集群动态添加datanode节点相关步骤。

保证zk最好是奇数个,节点个数/2+1

1.     在新节点安装好hadoop,并把namenode的有关配置文件复制到该节点

2.     修改namenode节点的masters和slaves文件(slaves文件),增加该节点

3.     设置各节点ssh免密码进出该节点,设置IP映射

4.     单独启动该节点上的Datanode和Nodemanager

    hadoop-daemon.sh start datanode

    yarn-daemon.sh start nodemanager

5.     运行start-balancer.sh进行数据负载均衡,作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布


二、hbase增加Region Servers

1.    HMaster节点的配置regionservers  (新增的hbase配文件也都改了,和master一个)

2.    在新节点中通过下面命令启动HRegionServer:  

   hbase-daemon.sh start regionserver  

三、hbase删除Region Servers  
hbase-daemon.sh stop regionserver  
1.    在需要删除的RegionServer上执行以下命令:$ ./bin/hbase-daemon.sh stop regionserver  RegionServer将会关掉所有的region,然后此节点将会在Zookeeper消失。Master注意到了此RegionServer 掉了,它将会重新分配掉的这些Region。在停掉一个节点的时候,注意要关闭Load Balancer,因为Load Balancer可能要和Master的恢复机制争夺停掉的RegionServer  
  
  
2.    hbase(main):001:0> balance_switch false  
true  
3.    graceful_stop.sh slavex 
Valid region move targets:   
node03,16020,1491575709589  
node02,16020,1491575710085  
2017-04-08T00:42:10 Unloaded node04 region(s)  
2017-04-08T00:42:10 Stopping regionserver on node04  
stopping regionserver.........  
  
  
4.    hbase-daemon.sh stop regionserver  
no regionserver to stop because no pid file /tmp/hbase-root-regionserver.pi  
  
  
5.     hbase(main):001:0> balance_switch true  
  
  
  
  
四、HDFS移除节点:  
  
  
1.    添加黑名单文件  
在主节点的Hadoop安装目录目录下添加文件excludes   
和slaves类似每个节点名一行 添加上要移除的节点名slave 

例如:  

echo 'node4' > excludes  

 cat /app/hadoop-2.5.2/excludes   
node4

2.    修改hdfs-site.xml  
添加下列代码,路径为自己的excludes文件路径  
<property>  
    <name>dfs.hosts.exclude</name>  
    <value>/app/hadoop-2.5.2/excludes</value>  
</property>  
  
  
3.    修改mapred-site.xml  
添加下列代码,路径为自己的excludes文件路径  
<property>  
    <name>mapred.hosts.exclude</name>  
    <value>/app/hadoop-2.5.2/excludes</value>  
</property>  
  
  
4.    刷新  
在主节点hadoop安装目录下执行下面命令  
hadoop dfsadmin -refreshNodes  
  
  
5.    在web上查看节点效果  
node4:50010 (192.168.13.131:50010) 0Decommission In Progress 7.6 GB  
一开始是Decommission In Progress,正在退役  
node4:50010 (192.168.13.131:50010) 1Decommissioned 7.6 GB  
执行完后状态修改为Decommissioned,表示已退役  
  
  
6.    slaves删除node4  
[root@node01 hadoop-2.5.2]# cat /app/hadoop-2.5.2/etc/hadoop/slaves  
node2  
node3  

若增加zk,需要修改每个节点hadoop的core和已有hbase的hbasesite向其中增加zk(若增加hbase节点需要更改),代码中更改集群的个数



阅读更多

没有更多推荐了,返回首页