Hbase API高级特性-计数器

原创 2013年12月03日 16:12:16

1.  许多收集统计信息的应用有点击流或在线广告意见,这些应用需要收集到日志文件用作后续的分析,用户可以使用计数器做实时统计,从而放弃延时较高的批量处理操作。

2.  原子操作检查并修改:将当前列当作计数器。

即把一个 column 当作 一个 counter,这样便于给某些在线应用提供实时统计功能。(PS:比如帖子的实时浏览量:PV)

3.  如果没有计数器特性:用户需要对一行数据加锁,然后读取数据,再对当前数据做加法,最后写回Hbase并释放该行锁。这样会引起大量的资源竞争,有其是当客户端进程崩溃之后,尚未释放的锁需要等待超时恢复,这会是一个高负载的系统中引起灾难性的后果。

4.   计数器的增量可以是正数负数,正数代表加,负数代表减。

hbase(main):006:0> create'counters','daily','weekly','monthly'

0 row(s) in 2.2260 seconds

hbase(main):007:0> incr 'counters','201031003100','daily:hites',1

COUNTER VALUE = 1

hbase(main):008:0> incr'counters','201031003100','daily:hites',1

COUNTER VALUE = 2

hbase(main):009:0> get_counter  'counters','201031003100','daily:hites'

COUNTER VALUE = 2

5.  计数器就是一个与其他列类似的简单的列。

6.  单计数器:

    public void oneCounter(long num) throws IOException{
long cnt1 = table.incrementColumnValue(Bytes.toBytes("3100"), 
Bytes.toBytes("info"), Bytes.toBytes("name"), num);
}

7.  多计数器:

public void moreCounter() throws IOException{
Increment increment1 = new Increment(Bytes.toBytes("3100"));

increment1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("clicks"), 20);
increment1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("hits"), 1);
increment1.addColumn(Bytes.toBytes("class"), Bytes.toBytes("clicks"), 10);
increment1.addColumn(Bytes.toBytes("class"), Bytes.toBytes("hits"), 10);

Result result1 = table.increment(increment1);
for(KeyValue kv:result1.raw()){
System.out.println("KV1: "+kv +"value: "+Bytes.toLong(kv.getValue()));
}

/*Increment increment2 = new Increment(Bytes.toBytes("3102"));
increment1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("clicks"), 5);
increment1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("hits"), 1);
increment1.addColumn(Bytes.toBytes("class"), Bytes.toBytes("clicks"), 0);
increment1.addColumn(Bytes.toBytes("class"), Bytes.toBytes("hits"), -5);
Result result2 = table.increment(increment2);
for(KeyValue kv:result2.raw()){
System.out.println("KV2: "+kv +"value: "+Bytes.toLong(kv.getValue()));
}*/
}

 

相关文章推荐

HBase - 计数器 - 计数器的介绍以及使用 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-...

HBase总结(9)--计数器

一、介绍 如果在HBase中使用某一行的值进行Put操作进行计数器功能,为了保证原子性操作,必然会导致一个客户端对计数器所在行的资源占有,如果在大量进行计数器操作时,则会占有大量资源,并且一旦某一客...

HBase Increment(计数器)简介及性能测试

HBase Increment(计数器)简介及性能测试

Hbase counter

本文是本人在做项目中有一个需求,就是日志分析各字段,我是定时去分析日志,需要记录每个域名+时间戳的hits和bits,但是有一个问题处理起来比较头疼,那就是有的日志会有延迟,比如12点去跑11点的日志...

hbase的计数器

需求: 每天会增量导入一批用户的uuid列表数据,也许会有几千万。计算这些用户的留存率的时候要与昨天的uuid列表做join取交集得到数量。当然join的效率是很低的。 所以考虑存hbase,设计成宽...

hbase大规模数据写入的优化历程

业务背景:由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库,以此根据一定的条件来提供近实时查询,比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录,满足这一场景的...

大数据组件原理总结-Hadoop、Hbase、Kafka、Zookeeper、Spark

转载:http://www.cnblogs.com/zguood/p/4609604.html Hadoop原理   分为HDFS与Yarn两个部分。HDFS有Namenode和D...

HBase - 两类数据模型 | 那伊抹微笑

博文作者:妳那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-187...

Hbase API高级特性-专用过滤器

1.   Hbase提供的专用过滤器直接继承自FilterBase,其中一些过滤器只能做行筛选,因此只适合于扫描操作,对get(),这些过滤器限制的更苛刻:要么包含整行,要么什么都不包括。 2.  ...

HBase读书笔记之API高级特性-4

HBase读书笔记之API高级特性-4
  • caixen
  • caixen
  • 2016年01月09日 12:13
  • 147
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hbase API高级特性-计数器
举报原因:
原因补充:

(最多只允许输入30个字)