查看hadoop日志_06205.16.1如何设置MR作业的Map或Reduce日志级别

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1

文档编写目的

在Hadoop集群有大量的MapReduce作业，为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志，通过作业的详细的日志更快速的定位问题并解决，同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。

• 测试环境

1.RedHat7.3

2.CDH5.16.1

2

配置MapReduce作业日志级别

1.登录Cloudera Manager并进入Yarn的配置界面，在Gateway范围搜索“mapred-site”

2.在mapred-site.xml配置项增加如下配置

<property>
    <name>mapreduce.reduce.log.levelname>
    <value>DEBUGvalue>
property>
<property>
    <name>mapreduce.map.log.levelname>
    <value>DEBUGvalue>
property>
<property>
    <name>yarn.app.mapreduce.am.log.levelname>
    <value>DEBUGvalue>
property>

以上配置支持的日志级别有如下：

OFF

FATAL

ERROR

WARN

INFO (default)

DEBUG

TRACE

ALL

完成上述操作后，保存配置后重新部署Yarn的Gateway客户端即可。

3

MapReduce作业日志验证

1.在命令行向集群提交一个MapReduce作业

[root@ip-172-31-6-83 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

2.打开Yarn的8088界面查看作业日志输出情况，可以看到Map、 Reduce和AM的日志已修改为DEBUG级别

4

总结

1.通过Cloudera Manager方便的配置MapReduce作业的日志输出级别。

2.可以在Yarn Gateway客户端的mapred-site.xml配置文件中添加Map、Reduce和AM的日志级别。

3.通过配置作业的日志级别可以更方便的定位问题，同样也可以减少作业的日志输出量以降低HDFS空间的占用量。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操