基础配置文件检查:
小伙伴们需要检查各类node是否启动成功。如果没有需要首先检查:/etc/hosts文件,/etc/hostname文件,/etc/profile文件配置是否正确。
我这里hadoop01,hadoop02,hadoop02的hosts文件内容是:
最好是把原始的127.0.0.1 localhost删掉。否则会有不可预知的错误。
在hadoop01的hostname文件内容是:
当然hadoop02和03分别为hadoop02,hadoop03
在三台机子的profile内容如下:
其中最后一行大家一定要注意把JAVA_LIBRAY_PATH加上地址就是你hadoop的native的文件目录。
上述操作完成之后最好source一下。如:source /etc/profile。
xml文件检查
因为网上很多博客都是集群配置,但是在各个机器上的配置文件又有一些差异所以导致很多小伙伴没有分清楚master和slaves配置文件的差异。接下来将针对core-site.xml,hdfs-site.xml,yarn-site.xml,slaves文件配置进行梳理:
1.core-site.xml
三台机子的该配置文件内容相同。
2.hdfs-site.xml
2.1主节点的hdfs-site.xml
第一个设置为false,注意第二个dfs.namenode.secondary.http-address的value就是你的master主机的ip和端口。
2.2再来看两个从节点的hdfs-site.xml
相信小伙伴们儿已经看到了区别。必须去掉了上述和namenode和secondarynode相关的配置,转而新加入了datanode的相关配置,该路径就是你存放数据的路径。你可以改成自己存放data的路径。这个无所谓,但是最好是指定出来。
3.主节点和从节点的yarn-site.xml相同
格式化
最后,咋们再格式化,在主节点master(我这里是hadoop01)上执行
hadoop namenode -format
然后开起集群在sbin目录下:start-all.sh。之后每台机子检查下。输入jps。看下各类结点是否起来了。
接着在浏览器打开:http://你的master主机名或者ip:50070/(我这里是http://hadoop01:50070/)。如果像我这样写在浏览器上需要在windows里面的hosts文件里面配置映射,要不然找不到hadoop01在哪儿。当然你也可以直接输入master的ip。等10s,再点击Browse the filesystem查看。