关闭

hadoop2.2平滑增加摘除datanode

标签: hdfs故障集群
1510人阅读 评论(0) 收藏 举报

主要配置文件hdfs-site.xml:

<property>

      <!--要增加的datanode-->
      <name>dfs.hosts</name>
      <value>/app/soft/hadoop/etc/hadoop/hosts</value>
</property>

 

<property>

      <!--要摘除的datanode-->
      <name>dfs.hosts.exclude</name>
      <value>/app/soft/hadoop/etc/hadoop/exclude</value>
</property>

增加节点:

如原集群有3个节点node1,node2,node3,现在要增加node4,那么需要追加node4到/app/soft/hadoop/etc/hadoop/hosts文件:

node1

node2

node3

node4

增加后执行:hdfs dfsadmin -refreshNodes进行节点刷新,这样就能重新加载hosts配置文件,刷新后到新增节点上执行$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode,此时用hdfs dfsadmin -report就会看到新增加的节点已经生效,如果想使数据均衡,那么可以执行hdfs balancer  -threshold 10(注:hdoop1使用命令为:start-balancer.sh –t 10%),即发现磁盘使用率偏差在10%以上的就会进行数据均衡,此过程有点漫长,要有耐心!

 

摘除节点:

如原集群有4个节点node1,node2,node3,现在要将故障节点node2摘除,那么需要再exclude文件中增加node2,执行hdfs dfsadmin -refreshNodes,再到故障节点执行hadoop-daemon.sh stop datanode(如直接停机自然可省略这步).

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:7448次
    • 积分:115
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章存档