环境:
集群环境是CentOS6;Hadoop版本为2.7.3
一、增加节点
1.配置主节点和新增节点的免密登录(ssh信任)
2.将新的节点的ip(如果在主节点的/etc/hosts中配置了名字也可以用名字替代)加入到Hadoop配置文件中slave文件中
3.将主节点的Hadoop目录(如果tmp目录不再Hadoop中,需要再把tmp文件复制到新增节点的对应目录中)发送到新增节点中
4.在新增节点中执行以下代码
sbin>hadoop-daemon.sh start datanode |
sbin>yarn-daemon.sh start datanode |
5.在主节点中执行以下代码
bin>hdfs dfsadmin -refreshNodes |
sbin>start-balacer.sh |
二、删除节点
1.不超过三个节点可以直接考虑停掉要删除的集群
2.否则进行下面操作
1)在主节点上更改副本的配置文件(hdfs-site.xml),适当减小
2)在hdfs-site.xml中新加一个配置