在Hadoop的MapReduce框架中包括6种Counters,每一种包含若干个Counter,分别对Map和Reduce任务进行统计
Tips:图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的
1、File System Counters
表示job与文件系统交互的读写统计
FILE_BYTES_READ: job读取本地文件系统的文件字节数
FILE_BYTES_WRITTEN : job向本地文件系统写入的文件字节数
HDFS_BYTES_READ : job读取HDFS的文件字节数(包括元数据,所以比FileInputFormatCounters中的BYTES_READ略大)
HDFS_BYTES_WRITTEN: job向HDFS写入的文件字节数
2、Job Counters
描述与job调度相关的统计
Data-local map tasks : Job被调度时,启动了一个data-local(在源文件的副本上执行map task的taskTracker(在hadoop 2.0中应该是NodeManager)) 【可以理解为数据本地化】
FALLOW_SLOTS_MILLIS_MAPS</