Hadoop Counters

Hadoop Counters是用于计数的,我们可以定义一些计数器,用于执行过程的计数,在执行完任务,会将计数器的值打印在控制台,也可以通过WEB查看,方便调试,因为在执行MapReduce的过程中,不能打印信息:

定义格式如下:

HadoopPipes::TaskContext::Counter*mapCounter;

注册:

mapCounter = context.getCounter("myCounter", "mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称

使用:

context.incrementCounter(mapCounter,1);

完整代码例子:

class WordCountMap: public HadoopPipes::Mapper {
public:
	HadoopPipes::TaskContext::Counter* mapCounter;//定义
public:
  WordCountMap(HadoopPipes::TaskContext& context){
  		mapCounter = context.getCounter("myCounter", "mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称
	}

  void map(HadoopPipes::MapContext& context) {
    std::vector<std::string> words =
      HadoopUtils::splitString(context.getInputValue(), " ");
    for(unsigned int i=0; i < words.size(); ++i) {
      context.emit(words[i], "1");
    }
	context.incrementCounter(mapCounter,1);//使用
  }
};

运行之后在控制台看到:


在WEB的任务跟踪页面看到:





  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值