详解 WordCount 运行后历史日志记录

在 《Hadoop-2.5.0-cdh5.3.2 HA 安装》 一文中我们已经详细讲述了如何搭建 HA 模式，同时最后还演示了运行其自带的 wordcount 程序，详情请参考 运行 Hadoop自带 wordcount 程序 。先简要回顾下：

---

一. Hadoop 日志基本概念

1. Hadoop 系统服务日志

2. Mapreduce 程序日志

• 作业运行日志
• 任务运行日志 (Container 日志)

其中需要我们关注容易混淆的概念：

• Mapreduce 程序日志 的查看是需要开启 历史日志服务器 后才能查看到
• 其中 日志聚集 功能是针对 任务运行日志 (Container 日志) 而言的！

更多关于Hadoop 日志原理以及相应配置请参考：http://blog.csdn.net/u011414200/article/details/50338073

---

1.1 运行 wordcount 程序

• 已经启动了必需的各项进程：namenode、datanode、resourcemanager、nodemanager、JobHistoryServer 等

• 确保当前 hdfs 不处于安全模式

hdfs dfsadmin -safemode leave

• 确保已经在 HDFS 中创建了相关目录 /data/wordcount 、/output ，以下 /tmp 及其以下目录是启动 JobHistoryServer 后系统自动生成的
  
  

• 上传了测试数据集 slaves
  
  

hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/

• 进入程序所在目录，并运行程序

cd /usr/local/cluster/hadoop/share/hadoop/mapreduce 
hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar wordcount /data/wordcount /output/wordcount

---

1.2 控制台输出结果

15/12/22 00:30:36 INFO input.FileInputFormat: Total input paths to process : 1
15/12/22 00:30:37 INFO mapreduce.JobSubmitter: number of splits:1
15/12/22 00:30:37 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1450714294593_0001
15/12/22 00:30:37 INFO impl.YarnClientImpl: Submitted application application_1450714294593_0001
15/12/22 00:30:37 INFO mapreduce.Job: The url to track the job: http://master5:8088/proxy/application_1450714294593_0001/
15/12/22 00:30:37 INFO mapreduce.Job: Running job: job_1450714294593_0001
15/12/22 00:30:43 INFO mapreduce.Job: Job job_1450714294593_0001 running in uber mode : false
15/12/22 00:30:43 INFO mapreduce.Job:  map 0% reduce 0%
15/12/22 00:30:49 INFO mapreduce.Job:  map 100% reduce 0%
15/12/22 00:31:04 INFO mapreduce.Job:  map 100% reduce 100%
15/12/22 00:31:05 INFO mapreduce.Job: Job job_1450714294593_0001 completed successfully
15/12/22 00:31:05 I