【MapReduce】MapReudce在集群上运行时查询System.out的结果

最新推荐文章于 2022-06-04 00:15:38 发布

飝鱻.

最新推荐文章于 2022-06-04 00:15:38 发布

阅读量340

点赞数 1

分类专栏： MapReduce hadoop 文章标签： mapreduce hadoop big data

本文链接：https://blog.csdn.net/heiren_a/article/details/123068278

版权

本文介绍了如何在Hadoop集群上运行MapReduce程序，特别是针对WordCount的示例，讲解了如何处理System.out输出以及查看日志文件。在Windows环境下，可能需要配置hosts文件。启动HistoryServer服务后，可以通过YARN UI来查找和查看日志。当遇到日志未聚合问题时，需在yarn-site.xml中启用并设置日志聚集功能。最后，展示了成功查看日志的界面。

摘要由CSDN通过智能技术生成

准备工作

我们在使用MapReduce在集群上运行时，常常为了方便而使用System.out，但是却无法显示在控制台上，往往我们就需要去日志里面寻找
本次所使用到的数据
本次使用的代码

package WC;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.