修改主机名/删除节点/多次初始化导致无法正常开启分布式集群

修改主机名/删除节点/多次初始化导致无法正常开启分布式集群

我一开始设定了master,slave1,slave2三个结点,分布式集群测试通过了,后来改了一下主机名,还把slave2结点删了,就怎么改集群都没办法正常上传文件,走了无数弯路后总结了以下方法解决:

  1. 写在最前面:以下内容【全部结点都要改!】
    vi /etc/hosts(原来写了的master和slave,改主机名了记得改主机名,删了结点的记得改
    vi /home/jmxx/hadoop/etc/hadoop/slaves(写slave结点,删了的记得改,不改的话jps正常但active nodes显示0
    vi /home/jmxx/hadoop/etc/hadoop/core-site.xml(重要的事说三遍,所有结点都要打开虚拟机重新改
    vi /home/jmxx/hadoop/etc/hadoop/yarn-site.xml(如果修改了主机名的有master的都要改,再说一遍,把主机名master改成啥了就写成啥

  2. 全部修改完后关闭集群:
    stop-dfs.sh
    stop-yarn.sh
    如果上面哪里原来设置错误,会导致结点不能正常关闭,不用管它

  3. 删除最开始建立集群时fds存放的hadoop的数据
    rm -rf /home/jmxx/hadoopdata/*
    删除后新建目录
    mkdir hadoopdata/tmp
    mkdir hadoopdata/data
    mkdir hadoopdata/name
    重新初始化
    cd /home/jmxx/hadoop/bin/
    hdfs namenode -format

  4. 应该就改好了,重新开启集群:
    start-dfs.sh
    start-yarn.sh
    再次运行测试下pi行不行:
    hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar pi 10 10

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值