配置Hadoop的web-UI网站

一、 实验环境

3台云主机操作系统：CentOS7（具体云主机可在不同平台上创建，本文是在UCloud上创建并设置云主机相关参数的）
jdk.1.8.0_191及以上已安装，具体JAVA版本与hadoop版本的对应关系，请参考https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions

二、 实验目的

通过配置Hadoop的web-UI网站，在主机对应的网站上查看Hadoop集群上正在运行的作业及状态。

三、 实验过程

1. 配置 hadoop 的配置文件
打开 hdfs-site.xml，增加如下配置

< property>
	<name>dfs.namenode.http-address</name>
	<value>0.0.0.0:9870</value>
	<description>
The address and the base port where the dfs namenode web ui will listen on.
	</description>

< /property>

打开 yarn-site.xml，增加如下配置

< property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>0.0.0.0:8088</value>
< /property>

2. 配置UCloud防火墙
在配置中，创建一个防火墙，增加规则允许 22,3389,443,80，8088,9870端口通过。其中注意 8088 端口的源地址要改为自己的 ip 地址。查看 ip 地址的方法：

• 打开服务器的 httpd 服务；
• 用本地计算机访问服务器的外网 ip；
• 打开 httpd 的日志，vim /etc/httpd/logs/access_log，输入 : + $跳转到文档末尾，查看访问记录。
• 每一条记录的最开始就是访问者的 IP 地址。你可以百度这个 ip 地址看看它的位置与自己的位置是否一致来大概判断这是自己的本地计算机的
  ip。

3. 配置好防火墙后，打开云主机界面，点击自己用的云主机
点击外网防火墙后面的编辑图标，修改防火墙为自己之前创建的防火墙。

4. 重启 hadoop 的服务
确认各项服务正确打开无报错后，在本地计算机访问服务器外网 ip 的 8088 和 9870 端口，可以进入yarn 和 hdfs 网站。

5. 提交一份作业，并在网页上查看

四、 参考资料

https://www.jianshu.com/p/fdc0727d9bab
http://www.voidcn.com/search/zrcnqq