Hadoop日志类型总结

一、集群守护进程日志

1.集群运行打印的日志，默认在$HADOOP_HOME/logs下，用于集群调试
2.web入口

1. namenode、datanode等，在HDFS WEB界面

   

2. resourcemanager、nodemanger等，在YARN WEB界面

二、mapreduce应用日志

1.mapreduce任务产生的日志，默认在$HADOOP_HOME/logs/userlogs下，包含map任务、reduce任务、ApplicationMaster日志
2.查看方式

1. web查看

如果正确配置了yarn.resourcemanager.webapp.address、jobhistoryserver、yarn日志聚合，则可以在YARN WEB界面查看(配置方法)

• 运行时

• 运行完成

1. 指令查看

yarn logs -applicationId 应用ID