我们在使用 CDH 做集群管理的时候,非常的方便。下面,详细了解下主要几个节点的日志位置。
1.ResourceManager log
2.NodeManager log
3.Container log
ResourceManager log
ResourceManager log 位置相关参数是 hadoop.log.dir
这里是 /var/log/hadoop-yarn
进目录看一下
[root@cdh-node2 hadoop-yarn]# pwd
/var/log/hadoop-yarn
[root@cdh-node2 hadoop-yarn]# ll
total 12296
-rw-r--r-- 1 yarn yarn 12118884 May 26 23:50 hadoop-cmf-yarn-NODEMANAGER-cdh-node2.log.out
-rw-r--r-- 1 yarn yarn 465282 May 26 21:07 SecurityAuth-yarn.audit
drwxr-xr-x 2 yarn hadoop 6 Jan 22 2019 stacks
NodeManager log
NodeManager log 通过 hadoop.log.dir 参数进行指定的
这里是 /var/log/hadoop-yarn
进目录看一下 :
[root@cdh-manager hadoop-yarn]# pwd
/var/log/hadoop-yarn
[root@cdh-manager hadoop-yarn]# ll
total 506660
-rw-r--r-- 1 yarn yarn 55970737 May 26 23:56 hadoop-cmf-yarn-RESOURCEMANAGER-cdh-manager.log.out
-rw-r--r-- 1 yarn yarn 209715256 Apr 22 20:33 hadoop-cmf-yarn-RESOURCEMANAGER-cdh-manager.log.out.1
-rw-r--r-- 1 yarn yarn 252637795 May 26 23:56 SecurityAuth-yarn.audit
drwxr-xr-x 2 yarn hadoop 6 Jan 22 2019 stacks
Container 日志存放的位置
这个是通过 yarn.nodemanager.log-dirs 参数进行指定的
这里是 /yarn/container-logs
先进入YARN相关的页面
结合 YARN 中的 Application 界面
可以看到有3个容器。
日志就存放在 对应 node 的 yarn.nodemanager.log-dirs 磁盘目录下
http://cdh-node2:8042 |
看下cdh-node2 节点上 容器的日志 :
[root@cdh-node2 application_1590484836237_0005]# pwd
/yarn/container-logs/application_1590484836237_0005
[root@cdh-node2 application_1590484836237_0005]# ll
total 0
drwx--x--- 2 yarn yarn 114 May 26 21:02 container_1590484836237_0005_01_000001
drwx--x--- 2 yarn yarn 117 May 26 21:07 container_1590484836237_0005_01_000003
可以看到 对应路径上有页面所对应的两个容器的日志
[root@cdh-node2 application_1590484836237_0005]# cd container_1590484836237_0005_01_000001
[root@cdh-node2 container_1590484836237_0005_01_000001]# ll
total 68
-rw-r--r-- 1 yarn yarn 539 May 26 21:02 jobmanager.err
-rw-r--r-- 1 yarn yarn 60238 May 26 21:07 jobmanager.log
-rw-r--r-- 1 yarn yarn 0 May 26 21:02 jobmanager.out
-rw-r--r-- 1 yarn yarn 0 May 26 21:02 prelaunch.err
-rw-r--r-- 1 yarn yarn 70 May 26 21:02 prelaunch.out
容器 container_1590484836237_0005_01_000001 是 flink 中的 jobmangaer 可以看到相对应的日志