一、集群守护进程日志
1.集群运行打印的日志,默认在$HADOOP_HOME/logs下,用于集群调试
2.web入口
namenode、datanode等,在HDFS WEB界面
resourcemanager、nodemanger等,在YARN WEB界面
二、mapreduce应用日志
1.mapreduce任务产生的日志,默认在$HADOOP_HOME/logs/userlogs下,包含map任务、reduce任务、ApplicationMaster日志
2.查看方式
- web查看
如果正确配置了yarn.resourcemanager.webapp.address、jobhistoryserver、yarn日志聚合,则可以在YARN WEB界面查看(配置方法)
- 运行时
- 运行完成
- 指令查看
yarn logs -applicationId 应用ID