Hadoop 2.6 日志文件和MapReduce的log文件研究心得

最新推荐文章于 2025-02-19 02:45:00 发布

infovisthinker

最新推荐文章于 2025-02-19 02:45:00 发布

阅读量1.4w

点赞数 11

本文链接：https://blog.csdn.net/infovisthinker/article/details/45370089

版权

本文介绍了Hadoop 2.6中DFS和Yarn的日志位置，以及MapReduce任务日志的复杂性。在调试MapReduce程序时，System.out在Mapper和Reducer中不可见，推荐使用Log4j或LogFactory生成logger。启动HistoryServer并启用log聚合后，可以在Web界面查看Job历史和任务日志。MapReduce任务的log位于特定目录，可通过Web页面链接访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能，在这里总结一下。网上的资料并不丰富，甚至Google出来的结果也不是很满意，或许这个是太简单了，牛人都不屑来写。也可能是各个公司藏着掖着的东西。

Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。

1. 对于DFS的log，在Name Node和Data Node里面，默认可以在${HADOOP_INSTALL}/logs里面看到。这个是非DFS的文件，直接可以通过Linux文件系统看到。

2. 对于Yarn的log，在Resource Manager和Node Manager里面，默认可以在${HADOOP_INSTALL}/logs里面看到。这个也是非DFS的文件，直接可以通过Linux文件系统看到。

对于MapReduce任务的log，情况就比较的复杂了。在2.6里面，task是按照application->container的层次来管理的，所以在Name Node机器上运行mapreduce程序的时候，在console里面看到的log都可以通过在相应的data node/node manager里面的${HADOOP_INSTALL}/logs/userlogs下面找到。这个部分也是非DFS文件，直接可以通过Linux文件系统看到。

这些log也

最低0.47元/天解锁文章