Hadoop自定义计数器Counter

本文介绍了Hadoop计数器的重要性和分类,并详细讲解了如何自定义计数器。通过枚举类型定义计数器,并通过属性文件实现计数器名称的自定义显示,以提供更人性化的监控体验。自定义计数器常用于统计无效记录和敏感词的场景。
摘要由CSDN通过智能技术生成

一:背景

Hadoop计数器的主要价值在于可以让开发人员以全局的视角来审查程序的运行情况,及时作出错误诊断并进行相应的处理,Hadoop内置了很多计数器,这些计数器大致可以分为三组:MapReduce相关的计数器、文件系统相关的计数器以及作业调度相关的计数器。我们可以通过Eclipse控制台的输出或者是web页面http://master:50030进行查看。


二:技术实现

除了内置计数器,Hadoop还提供了自定义计数器的功能,自定义计数器经常适用于的场景是统计无效记录或者是统计敏感词。


定义一个计数器有两种形式

1.通过枚举类型进行定义:

	// 定义一个枚举,用于统计无效记录
		enum ERRORCounter {
			ERROR;
		}
context.getCounter(ERRORCounter.ERROR).increment(1);

2.动态声明计数器
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值