Hadoop日志存放路径详解

Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输出的日志;(2)、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的,其中有些地方在Hadoop 1.x中是没有的,请周知。
  
一、Hadoop系统服务输出的日志

  诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log,其中${USER}s是指启动resourcemanager进程的用户,${hostname}是resourcemanager进程所在机器的hostname;当日志到达一定的大小(可以在${HADOOP_HOME}/etc/Hadoop/log4j.properties文件中配置)将会被切割出一个新的文件,切割出来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的,后面的数字越大,代表日志越旧。在默认情况下,只保存前20个日志文件,比如下面:

[plain]  view plain  copy
 print ?
  1. -rw-r--r-- 1 wyp wyp 124M Mar 14 17:01 yarn-wyp-resourcemanager-master.log  
  2. -rw-r--r-- 1 wyp wyp 257M Mar  9 10:02 yarn-wyp-resourcemanager-master.log.1  
  3. -rw-r--r-- 1 wyp wyp 257M Feb  4 09:05 yarn-wyp-resourcemanager-master.log.10  
  4. -rw-r--r-- 1 wyp wyp 257M Feb  1 17:04 yarn-wyp-resourcemanager-master.log.11  
  5. -rw-r--r-- 1 wyp wyp 257M Jan 30 01:04 yarn-wyp-resourcemanager-master.log.12  
  6. -rw-r--r-- 1 wyp wyp 257M Jan 26 04:01 yarn-wyp-resourcemanager-master.log.13  
  7. -rw-r--r-- 1 wyp wyp 257M Jan 22 16:12 yarn-wyp-resourcemanager-master.log.14  
  8. -rw-r--r-- 1 wyp wyp 257M Jan 20 17:14 yarn-wyp-resourcemanager-master.log.15  
  9. -rw-r--r-- 1 wyp wyp 257M Jan 18 19:01 yarn-wyp-resourcemanager-master.log.16  
  10. -rw-r--r-- 1 wyp wyp 257M Jan 15 15:21 yarn-wyp-resourcemanager-master.log.17  
  11. -rw-r--r-- 1 wyp wyp 257M Jan 15 15:00 yarn-wyp-resourcemanager-master.log.18  
  12. -rw-r--r-- 1 wyp wyp 257M Jan 15 14:40 yarn-wyp-resourcemanager-master.log.19  
  13. -rw-r--r-- 1 wyp wyp 257M Mar  5 21:00 yarn-wyp-resourcemanager-master.log.2  
  14. -rw-r--r-- 1 wyp wyp 257M Jan 15 14:20 yarn-wyp-resourcemanager-master.log.20  
  15. -rw-r--r-- 1 wyp wyp 257M Feb 23 00:00 yarn-wyp-resourcemanager-master.log.3  
  16. -rw-r--r-- 1 wyp wyp 257M Feb 20 08:05 yarn-wyp-resourcemanager-master.log.4  
  17. -rw-r--r-- 1 wyp wyp 257M Feb 17 17:04 yarn-wyp-resourcemanager-master.log.5  
  18. -rw-r--r-- 1 wyp wyp 257M Feb 15 01:05 yarn-wyp-resourcemanager-master.log.6  
  19. -rw-r--r-- 1 wyp wyp 257M Feb 12 09:00 yarn-wyp-resourcemanager-master.log.7  
  20. -rw-r--r-- 1 wyp wyp 257M Feb  9 17:08 yarn-wyp-resourcemanager-master.log.8  
  21. -rw-r--r-- 1 wyp wyp 257M Feb  7 01:10 yarn-wyp-resourcemanager-master.log.9  

上面这些都是可以配置的,比如resourcemanager(在${HADOOP_HOME}/etc/hadoop/log4j.properties):

[plain]  view plain  copy
 print ?
  1. log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager  
  2.           $ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger}  
  3. log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager  
  4.                                     .RMAppManager$ApplicationSummary=false  
  5. log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender  
  6. log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/  
  7.                         ${yarn.server.resourcemanager.appsummary.log.file}  
  8. log4j.appender.RMSUMMARY.MaxFileSize=256MB(多大切割日志)  
  9. log4j.appender.RMSUMMARY.MaxBackupIndex=20(说明保存最近20个日志文件)  
  10. log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout  
  11. log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n  
resourcemanager日志存放路径也是可以配置的(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh):

[plain]  view plain  copy
 print ?
  1. # default log directory & file  
  2. if [ "$YARN_LOG_DIR" = "" ]; then  
  3.   YARN_LOG_DIR="$HADOOP_YARN_HOME/logs"  
  4. fi  
只需要修改YARN_LOG_DIR的值,这时候,yarn相关的日志记录都将存放在你配置的目录下。


二、Mapreduce程序相关的日志

  Mapreduce程序的日志可以分为历史作业日志和Container日志。
  (1)、历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息;这些信息对分析作业是很有帮助的,我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的:

[html]  view plain  copy
 print ?
  1. <property>  
  2.     <name>mapreduce.jobhistory.done-dir</name>  
  3.     <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>  
  4. </property>  
  5.    
  6. <property>  
  7.     <name>mapreduce.jobhistory.intermediate-done-dir</name>  
  8.     <value>${yarn.app.mapreduce.am.staging-dir}  
  9.                          /history/done_intermediate</value>  
  10. </property>  
  11.    
  12. <property>  
  13.     <name>yarn.app.mapreduce.am.staging-dir</name>  
  14.     <value>/tmp/hadoop-yarn/staging</value>  
  15. </property>  
(2)、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认情况下,这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下,我们可以通过下面的配置进行修改:

[html]  view plain  copy
 print ?
  1. <property>  
  2.     <description>  
  3.       Where to store container logs. An application's localized log directory   
  4.       will be found in ${yarn.nodemanager.log-dirs}/application_${appid}.  
  5.       Individual containers' log directories will be below this, in   
  6.       directories  named container_{$contid}. Each container directory will   
  7.       contain the files stderr, stdin, and syslog generated by that container.  
  8.     </description>  
  9.     <name>yarn.nodemanager.log-dirs</name>  
  10.     <value>${yarn.log.dir}/userlogs</value>  
  11. </property>  
熟悉Hadoop相关日志的存放地方不仅对运维Hadoop和观察Mapreduce的运行都是很有帮助的。

本文链接地址: 《Hadoop日志存放路径详解》(http://www.iteblog.com/archives/896)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值