openLooKeng-Hbase Connector的介绍与性能提升

最新推荐文章于 2024-08-07 09:42:51 发布

openLooKeng

最新推荐文章于 2024-08-07 09:42:51 发布

阅读量502

点赞数 1

分类专栏：大数据大数据分析文章标签： java 大数据 hive

本文链接：https://blog.csdn.net/openlookeng/article/details/116239148

版权

本文介绍了openLooKeng中的HBase Connector，详细阐述了其功能，包括数据读写和元数据管理。接着分析了HBase Connector的性能，并提出了在1.2.0版本中的两个关键优化：新的分片规则和访问快照模式，显著提升了全表扫描的性能。文章还分享了性能测试结果，并预告了相关技术直播活动。

摘要由CSDN通过智能技术生成

1. HBase Connector介绍

数据虚拟化引擎openLooKeng中的HBase Connector支持访问Apache HBase集群并进行查询和创建表的操作。用户可以在openLooKeng中创建表，并映射到HBase Cluster中已有的表，支持INSERT、SELECT和DELETE操作。

——
一个简单的全表扫描的sql的执行，会经历哪些阶段：

首先该sql将要访问的数据，一定是属于某一个数据源的，那么一个通用的Connector需要做哪些事情。Sql的解析是由openLooKeng本身完成的；接下来是生成执行计划，在这个阶段需要验证用户所访问的表的合法性，那么Connector则需要提供该功能（即元数据管理）；然后就到了任务调度阶段，openLooKeng会将一个大任务划分为多个小任务，由多个worker分工完成，那么Connector会提供split分割的接口，即SplitManager；Worker在收到任务之后，以分片为最小单元进行数据加载，此时需要用到Connector中的PageSource/PageSink来完成数据的读写操作。所以在HBase Connector中我们实现了这些关键模块（SplitManager，HBaseClient，HetuMetastore）。

HBase Cluster的主要组件：ZooKeeper用来记录一些元数据信息，Master用来处理用户发过来的请求，RegionServer用来执行用户请求并管理Region的分裂和合并。