hadoop yarn 获取日志_0620-5.16.1-如何设置MR作业的Map或Reduce日志级别

1.文档编写目的

在Hadoop集群有大量的MapReduce作业，为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志，通过作业的详细的日志更快速的定位问题并解决，同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。

• 测试环境

1.RedHat7.3

2.CDH5.16.1

2.配置MapReduce作业日志级别

1.登录Cloudera Manager并进入Yarn的配置界面，在Gateway范围搜索“mapred-site”

2.在mapred-site.xml配置项增加如下配置

mapreduce.reduce.log.levelDEBUGmapreduce.map.log.levelDEBUGyarn.app.mapreduce.am.log.levelDEBUG