问题产生
1.我是使用阿里云的公网ip搭建,NameNode搭建不起来
2.查看logs中的namenode日志,日志上让我去confluence中查看
3.个人感觉是下图红色标注的问题
4.总结就是说,云服务器Hadoop伪分布式就别用公网ip了。
使用内网ip搭建Hadoop伪分布
我省略ssh,hadoop包的下载解压。
1.修改hosts 文件
将主机名映射到 内网ip
2.修改Hadoop的core-site.xml
3.修改Hadoop的hdfs-site.xml
4.修改slaves
5.格式化namenode并启动hdfs即可
hdfs namenode -format
start-dfs.sh
6.来到你的windows,(阿里控制台中把50070,50075,50010开放)
1.发现Datanodes中的node和http中的地址都有主机名 gaoxi
2.此时我们尝试上传。走
3.结果就是上传不上去,咱们打开network
访问的是 gaoxi 这个地址
所以
7.在自己的windows下配置hosts,云主机公网ip:gaoxi(主机名)
1.再走一个