问题描述
配置好Hadoop的Namenode节点、secondarynode节点和datanode节点之后,配置hadoop /etc目录下的mapred-site.xml、yarn-site.xml文件,配置完成之后,启动resourcemanager、nodemanager。其中,yarn-site.xml配置如下:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost.localdomain</value>
</property>
jps查看可以看到都启动成功。但是windows下输入下面的访问地址,提示访问超时页面找不到。
http://192.168.175.123:8088
其中192.168.175.123为虚拟机地址,8088为yarn管理页面的默认端口
问题解决
查看8088端口是否开启。如下,可以看到8088端口已经开启
查看某个端口进程的命令:lsof -i:端口号,可以用来查看8088端口是否为JAVA开启。
[hadoop@localhost hadoop-2.8.5]$ lsof -i:8088
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 3303 hadoop 234u IPv6 45723 0t0 TCP hadoop.fang.com:radan-http (LISTEN)
1、Windows浏览器访问提示连接超时。问题出在需要关闭虚拟机的防火墙。不同版本的linux关闭方法不同。Centos 7 关闭方法如下:设置成永久关闭即可。此时在windows浏览器访问提示connection refused,而不再是连接超时
- 临时关闭防火墙
systemctl stop firewalld
- 永久防火墙开机自关闭
systemctl disable firewalld
- 临时打开防火墙
systemctl start firewalld
- 防火墙开机启动
systemctl enable firewalld
- 查看防火墙状态
systemctl status firewalld
2.netstat -nltp查看端口启用情况,如下图,可以看到8088端口(yarn界面)和50070端口(hadoop界面)都是挂载127.0.0.1的ip下面。因此,只能够本机访问此端口。所以问题就出在这里。需要将端口挂载虚拟机ip下面才可以。首先修改yarn-site.xml的hostname参数配置,修改成自己的一个域名,或者直接写成虚拟机IP。我的配置成了hadoop.fang.com.如果配置成域名的话,就需要在/etc/hosts加上域名解析。操作如下
[root@venn05 hadoop]# netstat -nltp
Active Internet connections (only servers