一、协处理器简介
HBase协助处理器允许用户将部分逻辑在数据存放端即 HBase RegionServer 服务端进行计算,也即允许用户在 RegionServer 运行用户自定义的代码。这相当于是将计算推送到 RegionServer,实现了Region层面的并发,这将大大减少服务器和客户的的数据通信开销,从而提高 HBase 的计算性能。
这使得协处理器在加法计算或者聚合操作(求和、计数等)场景下非常高效。
此外,利用协处理器还可以构建HBase二级索引,一定程度上弥补了HBase单行键索引查询的缺点。
协助处理器的分类如下图所示,可分为观察者(Observer) 和 终端 (Endpoint) 。
Observer 提供了一些设计好的回调函数(钩子),类似于关系数据库的触发器。
在一些特定的事件发生时被执行,这些事件包括用户产生的事件,也包括服务器内部产生的事件。比如:put 操作之前有钩子函数 prePut(),该函数在 put 操作执行前会被 Region Server 调用;在 put 操作之后则有钩子函数 postPut()。
Endpoint 自定义操作添加到服务器端,有点像存储过程。
Endpoint 和 RDMBS 的存储过程很类似,用户提供一些自定义代码,并在 HBase 服务器端执行(“移动计算而非移动数据”的思想),结果通过 RPC 返回给客户,Endpoint 可以实现 min、 max、 avg、 sum、 distinct、 group by 等功能。
二、协处理器加载
完成协处理器的实现后需要将协处理器打包,对于协处理器的加载通常有三种方法,下面将展开介绍。
其中,1和3都需要将协处理器jar文件放到集群的HBase的classpath中。而2方法只需要将jar文件上传至集群环境的HDFS即可。
2.1 配置文件加载(静态加载)
即通过hbase-site.xml文件配置加载,一般这样的协处理器是系统级别的,全局的协处理器,如权限控制等检查。
启用协处理器Aggregation(Enable Coprocessor Aggregation)静态加载。
启用全局aggregation,能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现,只需要添加如下代码:
<property>
<name>hbase.coprocessor.user.region.classes</name>
<!-- 下面这是HBase自带的一个聚合coprocessor类 -->
<value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>
2.2 Shell加载(动态加载)
可以通过alter命令来对表进行scheme进行修改来加载协处理器。步骤如下:
1.创建hbase表
hbase(main):001:0> create 'coprocessor_table','F'
0 row(s) in 1.5290 seconds
=> Hbase::Table - coprocessor_table
2.通过alter命令将协处理器加载到表中
加载:
alter 'table_name', METHOD =>'table_att','coprocessor'=>'hdfs:///tmp/MyRegionServer.jar|com.lh.MyRegionObserver|1001'
alter 'coprocessor_table', METHOD =>'table_att','coprocessor'=>'hdfs:///tmp/MyRegionServer-1.0-SNAPSHOT.jar|com.lh.MyRegionObserver|1001'
卸载:
alter 'coprocessor_table', METHOD=>'table_att_unset',NAME=>'coprocessor$1'
2.3 通过API代码实现(动态加载)
即通过API的方式来加载协处理器。
/**
* 加载协处理器
*
* @param tableName
* @param className 协处理器的完整类名
* @param jarFilePath 协处理器Jar包路径,要保证所有的RegionServer可读取到。也可以是本地路径,不过建议是放在HDFS上
* @throws IOException
*/
public void loadCoprocessor(String tableName, String className, Path jarFilePath) throws IOException {
TableName thisTableName = TableName.valueOf(tableName);
// 获取当前表的HTableDescriptor对象
Table table = getHbaseConnection().getTable(thisTableName);
try {
// 判断表是否存在,若存在加载协处理器
if (!tableExists(tableName)) {
log.info("Table " + tableName + " is not exists. Nothing to do.");
} else {
HTableDescriptor tableDescriptor = table.getTableDescriptor();
log.info("Load Coprocessor To Table: " + tableDescriptor.getTableName());
hbaseAdmin.disableTable(thisTableName);
/**
*
* priority:协处理器优先级,整数表示,可以为空
* kvs:传递给协处理器的参数,可以为空
*/
int priority = 0;
Map<String, String> kvs = null;
tableDescriptor.addCoprocessor(className, jarFilePath, Coprocessor.PRIORITY_LOWEST, kvs);
hbaseAdmin.modifyTable(thisTableName, tableDescriptor);
log.info("Table " + tableName + " is modified successfully.");
}
} catch (IOException e) {
log.info("The coprocessor has been loaded");
e.printStackTrace();
} finally {
hbaseAdmin.enableTable(thisTableName);
}
}