目录
1. MapReduce任务日志查看
1.1 添加MapReduce日志聚合功能
在yarn-site.xml中添加配置
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
重启集群
补充:
如果时分布式还需要添加下面的配置,然后将yarn-site.xml分发到其他节点,重启集群
<property>
<name>yarn.log.server.url</name>
<value>http://linux01:19888/jobhistory/logs/</value>
</property>
1.2 查看日志
- 在代码中添加输出以及日志打印代码,如下图所示
- 在页面中查看日志
http://192.168.21.101:8088/cluster
说明:
a. stderr : 错误日志
b. stdout : 是 System.out.println 打印的日志
c. syslog : 是logger打印的日志
使用命令查看日志
# 使用grep 过滤
yarn logs -applicationId application_1664661190678_0004 | grep k1
# 把日志重定向到文件
yarn logs -applicationId application_1664661190678_0004 | kk.log
2. 停止MapReduce任务
yarn application -kill application_1664661190678_0004
3. MapReduce不使用Reduce聚合
只是用Map阶段: 当不需要聚合功能只需要过滤和解析式
需要更改的地方:
(1)删除reduce相关代码
(2)设置reduce任务数为0