服役新节点

随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
1).环境准备
(1).准备一台刀片机
(2).修改主机名称和IP地址
(3).配置SSH,拷贝其他点的配置信息到新的节点
2).服役新节点的具体步骤
(1).在namenode中hadoop目录下创建一个文件夹,新建一个文件dfs.hosts
(2).在文件中添加主机名称包括新增的节点
(3).在namenode下hdfs-site.xml配置文件中新增dfs.hosts属性

   <property>
     <name>dfs.hosts</name>
     <value>新建的目录/dfs.hosts</value>
   </property>

(4).刷新namenode

    hdfs dfsadmin -refreshNodes
    yarn rmadmin  -refreshNodes

(5).在namenode中的slaves文件新增新服役节点的主机名
(6).在新节点中单独启动hdfs和yarn

     sbin/hadoop-daemon.sh start datanode
     sbin/yarn-daemon.sh start nodemanager

(7).在web浏览器中检查是否ok
3).如果数据不均衡,可以用命令实现集群的再平衡

 ./start-balancer.sh
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值