Hadoop 日志分析

Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志

1.Hadoop 1.x版本

Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志,对应的日志位置为：

JobTracker：在JobTracker安装节点上，默认位置是${hadoop.log.dir}/logs/*-jobtracker-*.log，该文件每天生成一个，旧的日志后缀是日期，当天的日志文件后缀是".log",其中${hadoop.log.dir}默认值是hadoop的安装目录 ${HADOOP_HOME}

TaskTracker：在各个TaskTracker安装节点上，默认位置是${HADOOP_HOME}/logs/*-tasktracker-.log，该文件每天生成一个，当天的日志文件后缀是".log"

    作业日志包括jobhistory日志和task日志两部分，其中，jobhistory日志是作业运行日志，包括作业启动时间，结束时间，每个任务的启动时间，结束时间，各种counter信息等。默认存放位置是JobTracker所在节点的${hadoop.log.dir}/history目录下，可通过参数hadoop.job.history.location配置。每个task日志存放在task运行节点上，存放位置是${hadoop.log.dir}/userlogs/<jobid>