本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本,是一种分布式列式存储的数据库,构建在 HDFS 之上的 NoSQL 数据库,非常适合大规模实时查询,因此 HBase 在实时计算领域使用非常广泛。可以实时写 HBase,也可以利用 buckload 一把把离线 Job 生成 HFile Load 到HBase 表中。而当下 Flink SQL 的火热程度不用多说,Flink SQL 也为 HBase 提供了 connector,因此 HBase 与 Flink SQL 的结合非常有必要实践实践。
当然,本文假设用户有一定的 HBase 知识基础,不会详细去介绍 HBase 的架构和原理,本文着重介绍 HBase 和 Flink 在实际场景中的结合使用。主要分为两种场景,第一种场景:HBase 作为维表与 Flink Kafka table 做 temporal table join 的场景;第二种场景:Flink SQL 做计算之后的结果写到 HBase 表,供其他用户查询的场景。因此,本文介绍的内容如下所示:
-
- HBase 环境准备
- 数据准备
- HBase 作为维度表进行 temporal table join的场景
- Flink SQL 做计算写 HBase 的场景
- 总结
本文详细介绍了如何结合Flink SQL和HBase进行实时数据处理。主要内容包括HBase环境准备、数据准备,以及两种具体场景的应用:HBase作为维表与Kafka做temporal join,和Flink SQL计算结果sink到HBase。文章还展示了通过HBase REST API查询数据的过程,强调了HBase在实时计算领域的优势。
订阅专栏 解锁全文
383

被折叠的 条评论
为什么被折叠?



