Hadoop集群动态扩容、缩容

Hadoop集群动态扩容、缩容

随着数据量的递增，原有的DataNode节点的容量已经不能满足存储数据的要求，需要在原有的集群基础上动态添加新的数据节点。就是俗称的动态扩容

有时候旧的服务器需要退役更换，暂停服务，可能就需要在当下的集群中停止某些机器上的hadoop的服务，俗称动态扩容

动态扩容

准备

修改新机器系统的HostName（通过/etc/sysconfig/network进行修改）

修改hosts文件，将集群所有节点hosts配置进去（修改/etc/hosts）

设置NameNode到DataNode的免密登陆（ssh-copy-id hostname@ip）

修改主节点slaves文件，添加新增节点的ip信息

在新机器上上传解压一个新的hadoop安装包，从主节点机器上将Hadoop的所有配置文件，scp到新的节点上

添加DataNode