MapReduce之扩展

目录

1. MapReduce任务日志查看

1.1 添加MapReduce日志聚合功能

1.2 查看日志

2. 停止MapReduce任务

3. MapReduce不使用Reduce聚合

---

1. MapReduce任务日志查看

1.1 添加MapReduce日志聚合功能

在yarn-site.xml中添加配置

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>

重启集群

补充： 

如果时分布式还需要添加下面的配置，然后将yarn-site.xml分发到其他节点，重启集群

<property>
	<name>yarn.log.server.url</name>
	<value>http://linux01:19888/jobhistory/logs/</value>
</property>

   

1.2 查看日志

• 在代码中添加输出以及日志打印代码，如下图所示

•  在页面中查看日志

http://192.168.21.101:8088/cluster

 

 

 说明：

        a. stderr : 错误日志

        b. stdout : 是 System.out.println 打印的日志

        c. syslog : 是logger打印的日志

使用命令查看日志

# 使用grep 过滤
yarn logs -applicationId application_1664661190678_0004 | grep k1
# 把日志重定向到文件
yarn logs -applicationId application_1664661190678_0004 | kk.log

 

2. 停止MapReduce任务

yarn application -kill application_1664661190678_0004

3. MapReduce不使用Reduce聚合

只是用Map阶段: 当不需要聚合功能只需要过滤和解析式

需要更改的地方：

（1）删除reduce相关代码

（2）设置reduce任务数为0