hadoop内置的计数器分组

组别 名称、类别

MapReduce任务计数  org.apache.hadoop.mapreduce.TaskCounter

文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter

FileInputFormat org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

FileOutputFormat org.apache.hadoop.mapreduce.lib.output.FileoututFormatCounter

作业计数器 org.apache.hadoop.mapreduce.JobCounter

=========================================================================================================

内置任务计数器

map输入的记录

map_input_records 作业中所有map已处理的输入记录数，每次RecordReader读到一条记录并将其传递给map的map（）函数时，该计数器的值增加

map跳过的记录数

map_skipped_records 作业中所有map跳过的输入记录数

map输入的字节数

map_input_bytes 作业中所有map已处理的未经压缩的输入数据的字节数，每次recordReader读到一条记录并传递给其map的map函数，该计数器的值增加

分片split的原始字节数

split_raw_bytes 由map读取的输入-分片 对象的字节数，这些对象描述分片元数据（文件的位移和长）而不是分片的数据自身，因此总规模是小的。

map输出的记录数

map_output_records

map输出字节数

map_output_bytes

map输出的物化字节数 map_output_materialized_bytes

combine输入的记录数  combine_input_records

combine输出的记录数  comvine_output_records

reduce输入的组 reduce_input_groups

reduce输入的记录数 reduce_input_records

reduce输出的记录数 reduce_output_records

reduce跳过的组数 reduce_skipped_groups

reduce跳过的记录数 reduce_skipped_records

reduce经过shuffle的字节数 reduce_shuffle_bytes

溢出的记录数 spilled_records

cpu毫秒 cpu_milliseconds

物理内存字节数

physical_memeory_bytes

虚拟内存数 virtual_memory_bytes

有效的堆字节数 committed_heap_bytes

GC运行时间毫秒数

GC_TIME_MILLIS

由shuffle传输的map输出数shufled_maps

失败的shuffle数

failed_shuffled

被合并的map输出数

merged_map_outputs

=========================================================================================================

内置的文件系统任务计数器

文件系统的读字节数

bytes_read

文件系统的写字节数

bytes_written

=========================================================================================================

 

内置的FileInputFormat任务计数器

bytes_read

内置的FileOutputFormat任务计数器

bytes_written

=========================================================================================================

作业计数器

内置的作业计数器

启动的map的任务数 total_launched_maps

启动的reduce任务数 total_launched_reduces

启动的uber任务数 total_launched_ubertasks

uber中的map任务数 num_uber_submaps

uber中的reduce任务数 num_uber_subreduces

失败的map任务数 num_failed_maps

失败的reduce任务数 num_failed_reduces

失败的uber任务数 num_failed_ubertasks

数据本地化的map任务数 data_local_maps

机架本地化的map任务数 rack_local_map

其他本地化的map任务数 other_local_maps

map任务的总运行时间 slots_millis_maps

reduce任务的总运行时间 slots_millis_reduces

hadoop权威指南 page=283