2021SC@SDUSC hbase源码分析（八）Coprocessor分析（2）

最新推荐文章于 2024-07-26 14:20:58 发布
最新推荐文章于 2024-07-26 14:20:58 发布
阅读量1.6k 收藏
点赞数
分类专栏： 2021软件工程应用与实践 文章标签： hbase big data 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45785943/article/details/121339964
版权

2021SC@SDUSC hbase源码分析（八）Coprocessor分析（2）

目录

2021SC@SDUSC 2021SC@SDUSC
2021SC@SDUSC 2021SC@SDUSC

Endpoint介绍

Endpoint Coprocessor类似于MySQL中的存储过程。Endpoint Coprocessor允许将用户代码下推到数据层执行。一个典型的例子就是计算一张表（大量Region）的平均值或求和，可以使用Endpoint Coprocessor将计算逻辑下推到R俄国i哦那Server执行。

Endpoint允许定义自己的动态RPC协议,用于客户端与region servers通讯。Coprocessor 与region server在相同的进程空间中，因此您可以在region端定义自己的方法（Endpoint），将计算放到region端，减少网络开销，常用于提升hbase的功能。

Endpoint与Observer区别

Endpoint与Observer同属于HBase的协处理器Coprocessor。

  1. Observer Coprocessor执行对于用户来说是透明的，只要是HBase系统执行了get操作，对应的preGetOp就会执行，不需要显式调用preGetOp方法。

    Endpoint Coprocessor执行必须由用户显式触发调用。

  2. Observer 允许集群在正常的客户端操作过程中可以有不同的行为表现。
    Endpoint 允许扩展集群的能力，对客户端应用开放新的运算命令。

  3. observer 类似于 RDBMS 中的触发器，主要在服务端工作。
    Endpoint 类似于 RDBMS 中的存储过程，主要在服务端工作。

  4. observer 可以实现权限管理、优先级设置、监控、ddl 控制、二级索引等功能。
    Endpoint 可以实现 min、max、avg、sum、distinct、group by 等功能。

Endpoint工作流程

img

Endpoint部分代码

HBase中AggregateImplementation是了一个Endpoint，实现了Coprocessor接口，该类主要用于实现聚合功能，提供了getMax、getMin、getSum等RPC调用。

getMax

@Override
public void getMax(RpcController controller, AggregateRequest request,
        RpcCallback<AggregateResponse> done) {
  InternalScanner scanner = null;
  AggregateResponse response = null;
  T max = null;
  try {
    ColumnInterpreter<T, S, P, Q, R> ci = constructColumnInterpreterFromRequest(request);
    T temp;
    Scan scan = ProtobufUtil.toScan(request.getScan());
    scanner = env.getRegion().getScanner(scan);
    List<Cell> results = new ArrayList<>();
    byte[] colFamily = scan.getFamilies()[0];
    NavigableSet<byte[]> qualifiers = scan.getFamilyMap().get(colFamily);
    byte[] qualifier = null;
    if (qualifiers != null && !qualifiers.isEmpty()) {
      qualifier = qualifiers.pollFirst();
    }
    // 此处qualifier可以为null
    boolean hasMoreRows = false;
    do {
      hasMoreRows = scanner.next(results);
      int listSize = results.size();
      for (int i = 0; i < listSize; i++) {
        temp = ci.getValue(colFamily, qualifier, results.get(i));
        max = (max == null || (temp != null && ci.compare(temp, max) > 0)) ? temp : max;
      }
      results.clear();
    } while (hasMoreRows);
    if (max != null) {
      AggregateResponse.Builder builder = AggregateResponse.newBuilder();
      builder.addFirstPart(ci.getProtoForCellType(max).toByteString());
      response = builder.build();
    }
  } catch (IOException e) {
    CoprocessorRpcUtils.setControllerException(controller, e);
  } finally {
    if (scanner != null) {
      try {
        scanner.close();
      } catch (IOException ignored) {}
    }
  }
    //打印日志：region中的最大值
  log.info("Maximum from this region is "
      + env.getRegion().getRegionInfo().getRegionNameAsString() + ": " + max);
  done.run(response);
}

getMin

@Override
public void getMin(RpcController controller, AggregateRequest request,
        RpcCallback<AggregateResponse> done) {
  AggregateResponse response = null;
  InternalScanner scanner = null;
  T min = null;
  try {
    ColumnInterpreter<T, S, P, Q, R> ci = constructColumnInterpreterFromRequest(request);
    T temp;
    Scan scan = ProtobufUtil.toScan(request.getScan());
    scanner = env.getRegion().getScanner(scan);
    List<Cell> results = new ArrayList<>();
    byte[] colFamily = scan.getFamilies()[0];
    NavigableSet<byte[]> qualifiers = scan.getFamilyMap().get(colFamily);
    byte[] qualifier = null;
    if (qualifiers != null && !qualifiers.isEmpty()) {
      qualifier = qualifiers.pollFirst();
    }
    boolean hasMoreRows = false;
    do {
      hasMoreRows = scanner.next(results);
      int listSize = results.size();
      for (int i = 0; i < listSize; i++) {
        temp = ci.getValue(colFamily, qualifier, results.get(i));
        min = (min == null || (temp != null && ci.compare(temp, min) < 0)) ? temp : min;
      }
      results.clear();
    } while (hasMoreRows);
    if (min != null) {
      response = AggregateResponse.newBuilder().addFirstPart(
        ci.getProtoForCellType(min).toByteString()).build();
    }
  } catch (IOException e) {
    CoprocessorRpcUtils.setControllerException(controller, e);
  } finally {
    if (scanner != null) {
      try {
        scanner.close();
      } catch (IOException ignored) {}
    }
  }
  log.info("Minimum from this region is "
      + env.getRegion().getRegionInfo().getRegionNameAsString() + ": " + min);
  done.run(response);
}

getSum

@Override
public void getSum(RpcController controller, AggregateRequest request,
        RpcCallback<AggregateResponse> done) {
  AggregateResponse response = null;
  InternalScanner scanner = null;
  long sum = 0L;
  try {
    ColumnInterpreter<T, S, P, Q, R> ci = constructColumnInterpreterFromRequest(request);
    S sumVal = null;
    T temp;
    Scan scan = ProtobufUtil.toScan(request.getScan());
    scanner = env.getRegion().getScanner(scan);
    byte[] colFamily = scan.getFamilies()[0];
    NavigableSet<byte[]> qualifiers = scan.getFamilyMap().get(colFamily);
    byte[] qualifier = null;
    if (qualifiers != null && !qualifiers.isEmpty()) {
      qualifier = qualifiers.pollFirst();
    }
    List<Cell> results = new ArrayList<>();
    boolean hasMoreRows = false;
    do {
      hasMoreRows = scanner.next(results);
      int listSize = results.size();
      for (int i = 0; i < listSize; i++) {
        temp = ci.getValue(colFamily, qualifier, results.get(i));
        if (temp != null) {
          sumVal = ci.add(sumVal, ci.castToReturnType(temp));
        }
      }
      results.clear();
    } while (hasMoreRows);
    if (sumVal != null) {
      response = AggregateResponse.newBuilder().addFirstPart(
        ci.getProtoForPromotedType(sumVal).toByteString()).build();
    }
  } catch (IOException e) {
    CoprocessorRpcUtils.setControllerException(controller, e);
  } finally {
    if (scanner != null) {
      try {
        scanner.close();
      } catch (IOException ignored) {}
    }
  }
  log.debug("Sum from this region is "
      + env.getRegion().getRegionInfo().getRegionNameAsString() + ": " + sum);
  done.run(response);
}

getAvg

@Override
public void getAvg(RpcController controller, AggregateRequest request,
        RpcCallback<AggregateResponse> done) {
  AggregateResponse response = null;
  InternalScanner scanner = null;
  try {
    ColumnInterpreter<T, S, P, Q, R> ci = constructColumnInterpreterFromRequest(request);
    S sumVal = null;
    Long rowCountVal = 0L;
    Scan scan = ProtobufUtil.toScan(request.getScan());
    scanner = env.getRegion().getScanner(scan);
    byte[] colFamily = scan.getFamilies()[0];
    NavigableSet<byte[]> qualifiers = scan.getFamilyMap().get(colFamily);
    byte[] qualifier = null;
    if (qualifiers != null && !qualifiers.isEmpty()) {
      qualifier = qualifiers.pollFirst();
    }
    List<Cell> results = new ArrayList<>();
    boolean hasMoreRows = false;

    do {
      results.clear();
      hasMoreRows = scanner.next(results);
      int listSize = results.size();
      for (int i = 0; i < listSize; i++) {
        sumVal = ci.add(sumVal, ci.castToReturnType(ci.getValue(colFamily,
            qualifier, results.get(i))));
      }
      rowCountVal++;
    } while (hasMoreRows);
    if (sumVal != null) {
      ByteString first = ci.getProtoForPromotedType(sumVal).toByteString();
      AggregateResponse.Builder pair = AggregateResponse.newBuilder();
      pair.addFirstPart(first);
      ByteBuffer bb = ByteBuffer.allocate(8).putLong(rowCountVal);
      bb.rewind();
      pair.setSecondPart(ByteString.copyFrom(bb));
      response = pair.build();
    }
  } catch (IOException e) {
    CoprocessorRpcUtils.setControllerException(controller, e);
  } finally {
    if (scanner != null) {
      try {
        scanner.close();
      } catch (IOException ignored) {}
    }
  }
  done.run(response);
}

Endpoint使用

实现一个Endpoint（即自定义一个RPC Protocol）涉及到以下两个步骤：

  1. 创建自定义RPC Protocol接口，并继承接口CoprocessorProtocol，其中自定义RPC Protocol接口中的方法表示Client与Region的交互协议；
  2. 实现自定义RPC Protocol接口，并继承类BaseEndpointCoprocessor，其中自定义RPC Protocol接口中的方法实现表示Client与Region的交互细节。

CoprocessorProtocol实例是与具体的单个Region相关联的，Client进行RPC请求时必须能够识别出应该在相应表的哪些Regions上发起CoprocessorProtocol实例方法调用，然而Region相关操作很少被Client直接处理，且Region的名称和数目经常变化，因此Endpoint使用RowKey来识别这些Regions，具体表现在HTable的三个API，如下：

<T extends CoprocessorProtocol> T coprocessorProxy(Class<T> protocol, byte[] row)

这个API使用在单个Region的场景，这个Region满足的条件是包含数据行row。

<T extends CoprocessorProtocol, R> Map<byte[],R> coprocessorExec(Class<T> protocol, byte[] startKey, byte[] endKey, Batch.Call<T,R> callable)

<T extends CoprocessorProtocol, R> void coprocessorExec(Class<T> protocol, byte[] startKey, byte[] endKey, Batch.Call<T,R> callable, Batch.Callback<R> callback)

这两个API使用在多个Region的场景，这些Region满足的条件是包含startKey——endKey范围内所有数据行的Regions。

Coprocessor加载

用户定义的Coprocessor可以通过两种方式加载到RegionServer：

  1. 通过配置文件进行静态加载
  2. 动态加载

1.静态加载

通过修改 hbase-site.xml 这个文件来实现，启动全局 aggregation，能过操纵所有的表上的数据。

<property>
	<name>hbase.coprocessor.user.region.classes</name>
	<value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>

将Coprocessor配置到hbase-site.xml。hbase-site.xml 定义了多个相关配置项：

  1. hbase.coprocessor.region.classes，配置RegionObservers和Endpoint Coprocessor。
  2. hbase.coprocessor.wal.classes，配置WALObservers。
  3. hbase.coprocessor.master.classes，配置MasterObservers。

比如想业务实现一个Endpoint Coprocessor，我们可以这样配置：

<property>
	<name>hbase.coprocessor.user.region.classes</name>
	<value>org.apache.hadoop.hbase.coprocessor.endpoint.SumEndPoint</value>
</property>

然后将Coprocessor代码放到HBase的classpath下。最简单的方法是将Coprocessor对应的jar包放在HBase的lib目录下。最后重启HBase集群即可。

2.动态加载

启用表 aggregation，只对特定的表生效。通过 HBase Shell 来实现。

  1. disable表，在命令行输入：

    hbase> disable 'mytable'

  2. 修改schema，代码如下：

    hbase> alter 'mytable', METHOD => 'table_att','coprocessor'=>'|org.apache.Hadoop.hbase.coprocessor.AggregateImplementation||'

  3. 重启指定表

    hbase> enable 'mytable'

Shell 来实现。

  1. disable表，在命令行输入：

    hbase> disable 'mytable'

  2. 修改schema，代码如下：

    hbase> alter 'mytable', METHOD => 'table_att','coprocessor'=>'|org.apache.Hadoop.hbase.coprocessor.AggregateImplementation||'

  3. 重启指定表

    hbase> enable 'mytable'
努力努力再努力6
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021SC@SDUSC hbase代码分析（七）Coprocessor分析（1）
weixin_45785943的博客
11-10 1719
2021SC@SDUSC hbase代码分析（七）Coprocessor分析（1） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase代码分析（七）Coprocessor分析（1）Coprocessor机制优点Coprocessor分类Observer Coprocessor相关源码分析Observer Coprocessor工作流程：工作流程源码分析RegionObserverRegionServerObserv
2021SC@SDUSC hbase代码分析（十四）BulkLoad功能
weixin_45785943的博客
12-25 1120
2021SC@SDUSC hbase源码分析（十四）BulkLoad功能 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（十四）BulkLoad功能BulkLoad功能BulkLoad核心流程HFile生成阶段。HFile导入阶段。核心流程到此结束 BulkLoad功能 在实际生产环境中，有这样一种场景：用户数据位于HDFS中，业务需要定期将这部分海量数据导入HBase系统，以执行随机查询更新操作。这种
2021SC@SDUSC hbase代码分析（十二）HFile分析（4）
weixin_45785943的博客
12-12 1997
2021SC@SDUSC hbase源码分析（十二）HFile分析（四） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（十二）HFile分析（四）布隆过滤器相关Block布隆过滤器简介Bloom Index Block结构相关源码分析元数据相关指向Bloom Block 的索引项总结 布隆过滤器相关Block 布隆过滤器简介 布隆过滤器对HBase的数据读取性能优化至关重要。前面几个博客，介绍过HBa
2021SC@SDUSC hbase代码分析（十三）HFile分析（5）
weixin_45785943的博客
12-13 1856
2021SC@SDUSC hbase源码分析（十三）HFile分析（五） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（十三）HFile分析（五）索引相关BlockHFile索引简介索引结构1. Root Index Block简介源码分析2. NonRoot Index Block简介相关分析 索引相关Block HFile索引简介 根据索引层级的不同，HFile中索引结构分为两种：single-l
2021SC@SDUSC hbase代码分析（十一）HFile分析（3）
weixin_45785943的博客
12-06 1568
2021SC@SDUSC hbase源码分析（十一）HFile分析（3） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（十一）HFile分析（3）核心BlockType1.Trailer Block简介代码分析2.Data Block简介代码分析未完待续 核心BlockType Hbase中定义了8中BlockType，每种BlockType对应的Block都存储不同的内容，有的存储用户数据，有的存储
2021SC@SDUSC hbase代码分析（六）写入流程（4）
weixin_45785943的博客
11-03 712
2021SC@SDUSC hbase源码分析（七） 写入流程 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 接上次博客 （2）随机写入MemStore KeyValue写入Rgion分为两步：首先追加到HLog，再写入MemStore。MemStore使用数据结构ConcurrentSkipListMap来实际存储KeyValue.优点是能够非常友好地支持大规模并发写入，同时跳跃表本身是有序存储的，这有利于数据有序落盘，并且有利于提升MemStore
2021SC@SDUSC HBase(九)项目代码分析——数据模型
weixin_45865669的博客
11-14 1767
2021SC@SDUSC 目录一、简述二、数据模型三、KeyValue四、表定义和列族定义五、使用KeyValue六、总结 一、简述 HBase是一个KeyValue型的数据库，核心存储结构是KeyValue类，这个类定义了HBase的数据模型，并贯穿了HBase的整个读写链路。同时HBase自身的元数据管理也是使用了业务表相同的模式。 二、数据模型 Table（表格） 一个HBase表格由多行组成 Row（行） HBase中的行里面包含一个key和一个或者多个包含值的列。行按照行的key字母顺序存储在表格
2021SC@SDUSC hbase代码分析（九）HFile分析（1）
weixin_45785943的博客
11-24 962
2021SC@SDUSC hbase源码分析（九）HFile分析（1） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（九）HFile分析（1）HFile构成HFile物理数据HFile类中相关代码介绍HFile存储路径判断格式获得HFile路径集合HFile设置blocksize写的API创建Writer客户端读获取reader：HFile类的相关代码分析完毕未完待续 HFile构成 文件主要分为四个
HBase源码分析之org.apache.hadoop.hbase.client.coprocessor包
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
05-01 2797
Endpoint就类似RDBMS里面的Stored procedure了，可以直接在Region Server上执行我们的代码，它主要提供了能够操作单个Region的proxy和操作多个Regions的proxy，这样我们可以做一些sum,count的操作，不用再client端去做（数据量大，client端撑不了）。这里重点说一下Coprocessor。 客户端定义Coprocessor接口实现
[HBase]源码级强力分析hadoop的RPC机制
03-02
可以参考：http://baike.baidu.com/view/32726.htm）机制分析的博客一直耽搁了下来。昨天晚上胡老大和我抱怨说：最近乱的很。呵呵，老是往武汉跑，能不乱嘛。不过差不多腾讯面试的事就该告一段落了。五一期间，...
HBase源码分析
07-15
HBase源码分析，详细的源码分析，专业的知识分析，绝对难得
HBase源码分析与开发实战
09-09
HBase源码分析与开发实战视频技术讲解高阶视频教程以及课件，内部讲解资料 内容非常详细 值得想要提高薪水的人去学习了解
大数据平台之HBase
youziguo的专栏
07-23 1015
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，是Apache Hadoop生态系统的重要组成部分。它特别适合大规模结构化和半结构化数据的存储和检索，能够处理实时读写和批处理工作负载。以下是对HBase的详细介绍。
图数据库查询与操作指南-以Nebula图数据库为例
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
07-26 247
图数据库查询与操作指南-以Nebula图数据库为例
redis常用指令
m0_62289159的博客
07-22 879
redis常用指令
ODBC连接达梦数据库
qq_55187735的博客
07-24 247
用户执行，因为环境变量配置在。
SQL基础入门：解锁数据库管理的钥匙
最新发布
WayneYalejk的博客
07-26 340
在数字化时代，数据已成为企业最宝贵的资产之一。为了高效地存储、查询和管理这些数据，SQL（Structured Query Language，结构化查询语言）应运而生。SQL不仅是数据库管理员的必备技能，也是数据分析师、开发人员等多个领域从业者的重要工具。本文将带您踏入SQL的世界，从基础概念到实际应用，一步步解锁数据库管理的钥匙。强调SQL在数据处理和分析中的重要性，鼓励读者通过实践不断深化对SQL的理解和应用。
sqlalchemy使用json_unquote函数的mysql like查询
ithongchou的博客
07-23 1252
为您自己的数据库连接信息，并根据实际表结构修改模型类。函数查询MySQL JSON字段可以通过使用。下面是一个示例，假设有一个名为。请确保替换示例代码中的数据库连接字符串(在SQLAlchemy中使用。的表，其中包含一个名为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值