1.12 Flink HBase SQL 连接器

本文详细介绍了Flink HBase SQL连接器的使用,包括依赖、HBase表的使用、连接器参数以及数据类型映射。连接器在upsert模式下运行,依赖包括'Hbase-1.4'及相关Zookeeper配置。示例展示了如何注册HBase表、写入和读取数据。此外,还讨论了不支持异步查询的问题以及LRU缓存策略在维表关联中的应用。
摘要由CSDN通过智能技术生成

之前直接搬了1.14的连接器嫁接了一下,呆胶布

HBase 连接器支持读取和写入 HBase 集群。本文档介绍如何使用 HBase 连接器基于 HBase 进行 SQL 查询。

HBase 连接器在 upsert 模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于 HBase 的 rowkey 字段定义。如果没有声明主键,HBase 连接器默认取 rowkey 作为主键。













1.1 
依赖

为了使用HBase连接器,使用构建自动化工具(如Maven或SBT)的项目和使用SQL JAR捆绑包的SQL客户端都需要以下依赖项。

HBase version

Maven dependency

1.4.x

<dependency>

  <groupId>org.apache.flink</groupId>

  <artifactId>flink-connector-hbase-1.4_2.11</artifactId>

  <version>1.12.4</version>

</dependency>

2.2.x

<dependency>

  <groupId>org.apache.flink</groupId>

  <artifactId>flink-connector-hbase-2.2_2.11</artifactId>

  <version>1.12.4</version>

</dependency>













1.2 
如何使用 HBase 表

所有 HBase 表的列簇必须定义为 ROW 类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW 类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase 的 rowkey,一张表中只能声明一个 rowkey。rowkey 字段的名字可以是任意的,如果是保留关键字,需要用反引号。

-- 在 Flink SQL 中注册 HBase 表 "mytable"

CREATE TABLE hTable (

 rowkey INT,

 family1 ROW<q1 INT>,

 family2 ROW<q2 STRING, q3 BIGINT>,

 family3 ROW<q4 DOUBLE, q5 BOOLEAN, q6 STRING>,

 PRIMARY KEY (rowkey) NOT ENFORCED) WITH (

 'connector' = 'hbase-1.4',

 'table-name' = 'mytable'

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值