随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
1).环境准备
(1).准备一台刀片机
(2).修改主机名称和IP地址
(3).配置SSH,拷贝其他点的配置信息到新的节点
2).服役新节点的具体步骤
(1).在namenode中hadoop目录下创建一个文件夹,新建一个文件dfs.hosts
(2).在文件中添加主机名称包括新增的节点
(3).在namenode下hdfs-site.xml配置文件中新增dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>新建的目录/dfs.hosts</value>
</property>
(4).刷新namenode
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
(5).在namenode中的slaves文件新增新服役节点的主机名
(6).在新节点中单独启动hdfs和yarn
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
(7).在web浏览器中检查是否ok
3).如果数据不均衡,可以用命令实现集群的再平衡
./start-balancer.sh