Hadoop 日志分析

最新推荐文章于 2023-11-29 17:46:00 发布

zhuhailong

最新推荐文章于 2023-11-29 17:46:00 发布

阅读量1.1k

点赞数

分类专栏： Hadoop-Common 文章标签： Hadoop yarn 日志分析

本文链接：https://blog.csdn.net/u011317245/article/details/52847072

版权

本文详细介绍了Hadoop 1.x和2.x版本中MapReduce服务日志和作业日志的位置及内容，包括JobTracker/ResourceManager、TaskTracker/NodeManager、jobhistory和task/applications logs。日志文件主要包括stdout、stderr和syslog，对于开发者理解和调试Hadoop应用至关重要。

摘要由CSDN通过智能技术生成

Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志

1.Hadoop 1.x版本

Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志,对应的日志位置为：

JobTracker：在JobTracker安装节点上，默认位置是${hadoop.log.dir}/logs/*-jobtracker-*.log，该文件每天生成一个，旧的日志后缀是日期，当天的日志文件后缀是".log",其中${hadoop.log.dir}默认值是hadoop的安装目录 ${HADOOP_HOME}

TaskTracker：在各个TaskTracker安装节点上，默认位置是${HADOOP_HOME}/logs/*-tasktracker-.log，该文件每天生成一个，当天的日志文件后缀是".log"

作业日志包括jobhistory日志和task日志两部分，其中，jobhistory日志是作业运行日志，包括作业启动时间，结束时间，每个任务的启动时间，结束时间，各种counter信息等。默认存放位置是JobTracker所在节点的${hadoop.log.dir}/history目录下，可通过参数hadoop.job.history.location配置。每个task日志存放在task运行节点上，存放位置是${hadoop.log.dir}/userlogs/<jobid>