随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
服役新节点具体步骤:
-
免密的配置
免密登录是Hadoop集群的第一步,也是最关键的一步之一,新节点的服役必然需要重新配置免密登录,这一点不在重复,之前的博客写的有免密的相关操作,不会的可以去看看。
提示:新节点的防火墙也要关闭 -
文件的拷贝
新的节点什么都没有,需要将hadoop和jdk相关文件从原本集群中的节点中拷贝过来
我的新节点是node4,hadoop和jdk文件都在apps文件里,所以将apps文件拷到node4文件里去 -
配置workers文件里,添加新节点node4
-
拷贝/etc/profile文件,拷到node4去,并执行source命令
-
node4直接启动 DataNode,即可关联到集群,执行如下命令
-
node4出现DataNode进程就说明成功了