Hadoop 添加节点和删除节点

一。增加节点
1.解压hadoop程序,并把namnode的配置文件复制到配置文件目录下
2.修改namenode的slaves文件增加该节点
3.在该节点对ssh,hosts,jdk 进行配置,并修改所有节点的/etc/hosts增加该节点映射
4.在该节点启动Datanode和Nodemanager

   $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
   $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

注:如果新增加的节点是之前安装过Hadoop的 最好删除原来的datanode数据 或者配置新的目录dfs.datanode.data.dir ,否则会启动报错
二.删除节点
1、配置NameNode的hdfs-site.xml,适当减小dfs.replication副本数,增加dfs.hosts.exclude配置

 <property>
    <name>dfs.hosts.exclude</name>
    <value>/data/hadoop1/hadoop2.7.2/etc/hadoop/excludes</value>
  </property>

2.在对应路径/data/hadoop1/hadoop2.7.2/etc/hadoop/下新建excludes文件保存要删除的ip
3.在NameNode上刷新所有DataNode

$HADOOP_HOME/bin/hdfs dfsadmin -refreshNodes

在不改变dfs.replication 副本数的情况时,查看namenode日志 可以发现 hdfs在自动同步数据以补全副本
在不改变dfs.replication 副本数的情况时,直接使用$HADOOP_HOME/sbin/hadoop-daemon.sh stop datanode 也可以

不过第一种更优雅一些,因为经观察第一种的退役是程序主动进行的 在数据同步过程中DataNode节点仍在运行而第二种则是被动退役这里写代码片

发布了35 篇原创文章 · 获赞 7 · 访问量 7万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览