CDH平台YARN日志查看和问题排查

1.查看YARN中作业的web端口

方式一： 通过ResourceManagerWeb UI 查看日志：( 这种方式可以查看当前正在执行以及历史所有任务）

1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。

1.2 然后查找端口， 通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088. 如下图所示。操作路径：集群-YARN-配置-yarn.resourcemanger.webapp.address配置项的值。

1.3 最终通过在浏览器输入 ip:端口 即可。如下图所示：

方式二：通过 JobHistroyServer WebUI 查看日志 （这种方式可以看到历史所有任务）

2.1 先找到YARN JobHistoryServer 角色部署的机器ip ，如下图所示。通过路径 集群-实例-jobhistory server-主机 查看。

2.2 通过查看yarn-site.xml配置项 mapreduce.jobhistory.webapp.address 的值来确定端口，如下图所示。路径： 集群-配置- mapreduce.jobhistory.webapp.address 配置项的值，默认端口是19888。

2.3 通过ip:端口 即可访问jobhistory webapp ui 。如下图所示。

2. 查看节点的IP地址
linux服务器直接使用ifconfig可以获取节点的ip地址

ifconfig

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.12  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::f816:3eff:fea9:d718  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:a9:d7:18  txqueuelen 1000  (Ethernet)
        RX packets 459016996  bytes 194580488959 (181.2 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 368730025  bytes 113690018291 (105.8 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

如果是使用的云服务器，一般显示的是内网地址，内网地址无法直接访问，可以使用如下方式获取外网地址：

curl cip.cc

显示：

IP	: 222.93.xxx.xxx
地址	: 中国  江苏  苏州
运营商	: 电信

数据二	: 江苏省苏州市 | 电信

数据三	: 

URL	: http://www.cip.cc/222.93.xxx.xxx

3.外网无法直接通过IP:Port访问的问题
其实问题很简单，因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名，而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 8088看一下监听情况。

你会发现监听的是你的内网IP，而不是外网IP，所以HDFS的WEB UI就无法访问啦。

解决办法：如果你使用的是Apache Hadoop，那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address，修改为0.0.0.0:50070。如果使用的是ClouderaManager，那么去HDFS->配置->搜索NameNode Default Group ，然后把NameNode Default Group圈上即可。

注意调整完毕后，需要重新启动HDFS

PS：多说一句，我个人建议在linux做一个VPN，然后连接上后，内网访问。 这样相对来说会安全些。
4.yarn的日志的查看
4.1 dos端分析日志
MR运行缓慢问题：

INFO  : The url to track the job: http://cdh3:8088/proxy/application_1608273223539_24776/
INFO  : Starting Job = job_1608273223539_24776, Tracking URL = http://cdh3:8088/proxy/application_1608273223539_24776/
INFO  : Kill Command = /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hadoop/bin/hadoop job