HBase学习笔记-聚合函数

已于 2023-01-30 18:32:12 修改
阅读量1.2w 收藏 9
点赞数 2
分类专栏： HBase 文章标签： HBase coprocessor 聚合函数
于 2014-08-13 18:46:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fighting_one_piece/article/details/38540851
版权
本文探讨了如何利用HBase的coprocessor特性来实现聚合函数，介绍了通过修改hbase-site.xml配置和使用API注册Coprocessor的两种方法，并详细讲解了相关聚合函数的调用过程。
摘要由CSDN通过智能技术生成

利用HBase的coprocessor特性实现聚合函数，添加coprocessor方式有两种
1、修改hbase-site.xml，添加如下内容

<property>
    <name>hbase.coprocessor.region.classes</name>
    <value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>

2、通过调用API，让Table注册该Coprocessor

String coprocessClassName = "org.apache.hadoop.hbase.coprocessor.AggregateImplementation";
 
HBaseAdmin admin = new HBaseAdmin(HBaseConfiguration.create());
 
admin.disableTable(tableName);
 
HTableDescriptor htd = admin.getTableDescriptor(tableName);
 
htd.addCoprocessor(coprocessClassName);
 
admin.modifyTable(tableName, ht
最低0.47元/天 解锁文章
人生偌只如初见
关注
专栏目录
Impala学习笔记 --- 功能架构与应用对比
杨鑫newlife的专栏
09-10 356
简介： Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。 相比之下，Impala的最大特点也是最大卖点就是它的快速。 优点： 1.Impala不需要把中间结果写入磁...
HBase实现简单聚合计算
weixin_33695082的博客
04-08 2628
本文主要记录如何通过打补丁的方式将“hbase中实现简单聚合计算”的特性引入hbase源代码中，并介绍通过命令行和java代码的使用方法。 支持的简单聚合计算，包括： rowcount min max sum std avg median 1、 下载并编译hbase源代码 我这里使用的HBase源代码版本是：cdh4-0.94.6_4.3.0，如果你...
hbase 聚合操作
weixin_33908217的博客
04-30 1412
hbase本身提供了 聚合方法可以服务端聚合操作 hbase中的CoprocessorProtocol机制.CoprocessorProtocol的原理比较简单，近似于一个mapreduce框架。由client将scan分解为面向多个region的请求，并行发送请求到多个region，然后client做一个reduce的操作，得到最后的结果。先看一个例子，使用hbase的Aggregatio...
org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计hbase表的行数
aiwode1234的专栏
11-05 916
hbase自带了一个聚合coprocessor类：org.apache.hadoop.hbase.coprocessor.AggregateImplementation。使用该类可以count一张表的总记录数。 当然在hbase shell下面也可以count 来统计。我这里比较了一下两者的执行时间，我有一张表有700多万的数据，在hbase shell下count足足花费了我12分钟的时间
万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系...
djph26741的博客
03-02 238
转自：http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_content_list&utm_content=homepage 目...
HBase实战之利用Coprocessor实现聚合函数
SAN_YUN的专栏
12-24 535
关键词LongColumnInterpreter 参考：http://zhang-xzhi-xjtu.iteye.com/blog/1926732   HBase实战之CoprocessorProtocol及一个简单的通用扩展实现 http://zhang-xzhi-xjtu.iteye.com/blog/1926732 ...
《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
IT小王
06-25 1583
《HBase原理与实践》学习笔记 一、HBase概述 1.1 HBase数据模型 1.1.1 逻辑视图 table：表 row：行 column：列 timestamp：时间戳 cell：单元格 1.1.2 物理视图 HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。 1.2 HBase体系结构 1.2.1 Master 主要负责HBase系统的各种管理工作： 处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。 管理集群中的RegionSerer，包括其
MySQL学习笔记-基础篇1
xu_jin_shan的博客
02-26 1247
MySQL 学习笔记–基础篇1 1.数据库概述与MySQL安装 2.基本SELECT语句 3.运算符 4.排序与分页 5.多表查询 6.单行函数 7.聚合函数
hbase权威指南学习笔记
lvhuiyin的博客
08-05 3299
一、简介 1.列式存储数据库 以列为单位聚合数据，然后将列值顺序的存入磁盘，而传统数据库时为行式数据库，连续地存储整行 列式数据库：对于特定的查询，不需要所有的值，在分析型数据库最常见 1）关系型数据库存在的问题 高并发的解决步骤 增加用于读取的从服务器，将读写分离 增加缓存，如Memcached，但无法保证数据的一致性 将数据分区到多个数据库中，运维成本高。分区主要描述了逻辑上水
HBase的数据聚合与统计分析案例
AI天才研究院
01-21 1198
1.背景介绍 在大数据时代，HBase作为一种高性能、可扩展的列式存储系统，已经成为许多企业和组织的首选。HBase可以存储大量数据，并提供快速的读写操作。然而，在实际应用中，我们经常需要对HBase中的数据进行聚合和统计分析。这篇文章将讨论HBase的数据聚合与统计分析案例，并提供一些最佳实践和技巧。 1. 背景介绍 HBase是一个分布式、可扩展的列式存储系统，基于Google的Bigt...
HBase--Coprocessor协处理器
数据时代--收集，存储，处理，分析，挖掘，检索，展现
03-29 1685
前面说过，Hbase做聚合，分组之类的运算很不方便，更不要说join之类的，更是麻烦。有没有好点的办法呢？这里介绍下HBase--Coprocessor。Hbase有两种类型的Coprocessor，为：Observer Coprocessors 和Endpoint Coprocessor，前者类似触发器，在特定的事件发生时候触发，后者类似存储过程，执行数据计算。观察者协处理器在  很多地方可能用
org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
xiao_jun_0820的专栏
05-09 6171
hbase自带了一个juh org.apache.hadoop.hbase.coprocessor.AggregateImplementation
实战案例：HBase的数据聚合策略与优化
AI天才研究院
01-28 716
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase非常适用于读写密集型的大规模数据存储和处理场景，如实时数据处理、日志记录、时间序列数据等。 在HBase中，数据是按照行键(row key)进行存储和查询的。当...
JAVA hbase groupby_Elasticsearch JAVA api轻松搞定groupBy聚合
weixin_36003005的博客
02-24 389
本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。为了简单起见，只给出一级groupby即group by field1(而不涉及到多级，例如group by field1, field2, ...)；如果你需要多级的groupby，在实现上可能需要拆分的更加细致。即将给出的方法，适用于如下的场景：场景1：找出分组中的所有桶，例如，select gro...
HBase 协处理器实践（一）AggregationClient
菜菜的博客
09-16 6864
HBase 协处理器实践（一）          对数据表中的数据进行求和。        1、添加coprocessor AggregateImplementation分为添加全局和为单表添加Aggregation。          a、 添加全局AggregateImplementation，方法：修改hbase-site.xml文件，在该文件中添加 hbase.copr
hbase0.96 AggregateImplementation和AggregationClient
xiao_jun_0820的专栏
10-10 3325
不知道为什么，hbase0.96中只定义了一个AggregateService
万字总结，关于HBase
weixin_45017098的博客
05-05 1114
HBase 是一个开源的、基于列族存储、分布式的 NoSQL 数据库，它是 Apache Hadoop 生态系统中的重要组成部分，具有高可靠性、高性能、高扩展性等特点，主要用于海量结构化数据的读写操作。HBase 的设计目标是面向海量数据的存储和访问，它采用分布式架构，将数据存储在多个节点上，并通过水平扩展的方式增加节点数量，从而实现数据的高可靠性和高性能。HBase 支持数据的自动分区、数据的压缩和缓存、数据的批量读写等特性，可以有效地处理大规模数据的存储和分析需求。
hbase中sum结果为NULL的问题：AggregationClient执行聚合sum时，给scan添加列过滤器后，sum结果为 null
litlit023的专栏
10-15 914
1. 情况说明 在使用hbase-endpoint依赖中的AggregationClient类，对hbase执行sum操作时，当scan不设置 filter时可以正常得到 sum的结果，但是设置filter之后，sum的结果就为 null。 1.1 不设置filter时的执行结果 不设置filter时的代码如下： String tableName = "hbaseTableName"; String cf = "f"; String col_O...
Cannot resolve org.apache.hbase:hbase-protocol-shaded:2.4.18
最新发布
10-22
implementation 'org.apache.hbase:hbase-protocol-shaded:2.4.18' ``` 2. **版本冲突**：检查是否有其他依赖可能导致版本冲突，确保所有依赖的版本都是兼容的。 3. **本地仓库问题**：如果你的本地Maven或Gradle...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值