【图文解析 】MapReduce 全局计数器

MapReduce 全局计数器 

1、介绍 
计数器是用来记录 job 的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的 某个位置插入计数器，记录数据或者进度的变化情况。 
 
MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的 各种细节数据。对 MapReduce 性能调优很有帮助，MapReduce 性能优化的评估大部分都是 基于这些 Counter 的数值表现出来的。 
 
MapReduce 自带了许多默认 Counter，现在我们来分析这些默认 Counter 的含义，方便大 家观察 Job 结果，如输入的字节数、输出的字节数、Map 端输入/输出的字节数和条数、 Reduce 端的输入/输出的字节数和条数等 
2、需求 
在实际生产代码中，常常需要将数据处理过程中遇到的不合规数据行进行全局计数，类似这 种需求可以借助 MapReduce 框架中提供的全局计数器来实现 
3、实例 
以下是一个利用全局计数器来统计一个目录下所有文件出现的单词总数和总行数