修改主机名/删除节点/多次初始化导致无法正常开启分布式集群
我一开始设定了master,slave1,slave2三个结点,分布式集群测试通过了,后来改了一下主机名,还把slave2结点删了,就怎么改集群都没办法正常上传文件,走了无数弯路后总结了以下方法解决:
-
写在最前面:以下内容【全部结点都要改!】
vi /etc/hosts(原来写了的master和slave,改主机名了记得改主机名,删了结点的记得改
vi /home/jmxx/hadoop/etc/hadoop/slaves(写slave结点,删了的记得改,不改的话jps正常但active nodes显示0
vi /home/jmxx/hadoop/etc/hadoop/core-site.xml(重要的事说三遍,所有结点都要打开虚拟机重新改
vi /home/jmxx/hadoop/etc/hadoop/yarn-site.xml(如果修改了主机名的有master的都要改,再说一遍,把主机名master改成啥了就写成啥 -
全部修改完后关闭集群:
stop-dfs.sh
stop-yarn.sh
如果上面哪里原来设置错误,会导致结点不能正常关闭,不用管它 -
删除最开始建立集群时fds存放的hadoop的数据
rm -rf /home/jmxx/hadoopdata/*
删除后新建目录
mkdir hadoopdata/tmp
mkdir hadoopdata/data
mkdir hadoopdata/name
重新初始化
cd /home/jmxx/hadoop/bin/
hdfs namenode -format -
应该就改好了,重新开启集群:
start-dfs.sh
start-yarn.sh
再次运行测试下pi行不行:
hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar pi 10 10