作为一个hadoop的初学者,hd最近在一直在踩坑,好不容易把网络配置好了,结果在datanode连接中又挂了
hdfs-site.xml的配置为
core-site.xml的配置为
丛机(hdp-02)启动jps后
发现在/usr./lHadoop/hadoop-2.8.3/hdpdata/data文件夹下没有生成current文件夹
再看一下log文件,发现无法连接到namenode
运行一下hdfs dfsdamin -report
发现显示拒绝访问
主要解决方案
1.是否在主机上未关闭防火墙导致丛机无法访问主机
通过sudo ufw status来查看自己的防火墙状态
如果防火墙是开启的,那么将它关掉
sudo ufw disable
我的防火墙是关闭的,所以并不是这个原因
2.主机的端口9000被关闭,无法访问
通过netstat -tpnl来查看端口占用
发现9000的地址有问题
然后查看/etc/hosts文件来查看配置
由于我的主机与丛机之间的域名映射全都做好了,所以只能是端口问题
打开发现
我的127.0.1.1,即9000的端口只能自己本机访问,丛机无法访问(这是hadoop的安全措施)
通过修改后
查看端口信息
netstat -tpnl
发现9000的端口号的本地地址是我的主机的ip地址,其他的丛机可以访问,问题得到解决