MapReduce当中的计数器Counter

====
MapReduce当中的计数器Counter

hadoop内置计数器列表
MapReduce任务计数器    org.apache.hadoop.mapreduce.TaskCounter
文件系统计数器    org.apache.hadoop.mapreduce.FileSystemCounter
FileInputFormat计数器    org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter
FileOutputFormat计数器    org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter
作业计数器    org.apache.hadoop.mapreduce.JobCounter

需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数

第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录
通过context上下文对象，在map端使用计数器进行统计
通过context上下文对象，在map端使用计数器进行统计
public class SortMapper extends Mapper<LongWritable,Text,PairWritable,IntWritable> {

    private PairWritable mapOutKey = new PairWritable();
    private IntWritable mapOutValue = new IntWritable();

    @Override
    public  void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//自定义我们的计数器，这里实现了统计map数据数据的条数
        Counter counter = context.getCounter("MR_COUNT", "MapRecordCounter");
        counter.increment(1L);

        String lineValue = value.toString();
        String[] strs = lineValue.split("\t");

        //设置组合key和value ==> <(key,value),value>
        mapOutKey.set(strs[0], Integer.valueOf(strs[1]));
        mapOutValue.set(Integer.valueOf(strs[1]));
        context.write(mapOutKey, mapOutValue);
    }
}

第二种方式定义计数器
通过enum枚举类型来定义计数器
统计reduce端数据的输入的key有多少个，对应的value有多少个
public class SortReducer extends Reducer<PairWritable,IntWritable,Text,IntWritable> {

    private Text outPutKey = new Text();
    public static enum Counter{
        REDUCE_INPUT_RECORDS, REDUCE_INPUT_VAL_NUMS,
    }
    @Override
    public void reduce(PairWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        context.getCounter(Counter.REDUCE_INPUT_RECORDS).increment(1L);
        //迭代输出
        for(IntWritable value : values) {
            context.getCounter(Counter.REDUCE_INPUT_VAL_NUMS).increment(1L);
            outPutKey.set(key.getFirst());
            context.write(outPutKey, value);
        }
    }
}

====