HBase协处理器实战

本文深入探讨HBase协处理器,包括EndPoint和Observer的使用。文章详细解释了协处理器如何提升性能,避免MapReduce在简单统计上的过度使用。通过一个Endpoint实例展示了如何利用Proto Buffer进行列求和操作,涵盖proto文件编写、服务端代码实现和加载协处理器的步骤。
摘要由CSDN通过智能技术生成

这篇文章主要介绍了HBase协处理的基本内容及分类,介绍proto buffer的安装与文件的编写,并通过实例的例子演示EndPoint的使用。


一、HBase协处理器简介

前几篇文章中都介绍过HBase,HBase是一款基于hadoop的分布式存储系统类似于数据库,只不过是以列为单位。通过前几篇介绍HBase的文章我们也了解到HBase实际使用起来并没有真正的数据库那么方便,通常我们都是通过get来获取某一列数据,如果要统计某一个column的值,通常会用到MapReduce,虽然利用MapReduce能够很方便的进行分布式计算,但是使用MapReduce来计算简单的一个统计比如求和,这样大大降低了它的性能,占用更多的宽带,有种大才小用的感觉。

于是在HBase0.92版本之后,新增了协处理器,它可以很方便的进行二级索引,利用协处理器,用户可以将代码运行在HBase Server端。

二、HBase分类

HBase分为两种类型的协处理器:EndPoint和Observer。

终端(EndPoint)是动态RPC插件的接口,它的实现代码被安装在服务器端,从而能够通过HBase RPC唤醒。户端类库提供了非常方便的方法来调用这些动态接口,它们可以在任意时候调用一个终端,它们的实现代码会被目标region远程执行,结果会返回到终端。用户可以结合使用这些强大的插件接口,为HBase添加全新的特性。其类似于存储过程。

观察者(Observer)的设计意图是允许用户通过插入代码来重载协处理器框架的upcall方法,而具体的事件触发的callback方法由HBase的核心代码来执行。协处理器框架处理所有的callback调用细节,协处理器自身只需要插入添加或者改变的功能。

Observer一共包含四种:

RegionObserver

RegionServerObserver

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值