感谢您的关注 + 点赞 + 再看,对博主的肯定,会督促博主持续的输出更多的优质实战内容!!!
1.序篇-本文结构
-
背景篇-为啥需要 redis 数据汇表
-
目标篇-redis 数据汇表预期效果
-
难点剖析篇-此框架建设的难点、目前有哪些实现
-
维表实现篇-实现的过程
-
总结与展望篇
本文主要介绍了 flink sql redis 数据汇表的实现过程。
大数据羊说
用数据提升美好事物发生的概率~
27篇原创内容
公众号
如果想在本地测试下:
- 在公众号后台回复
-
flink sql 知其所以然(三)| sql 自定义 redis 数据汇表获取源码(源码基于 1.13.1 实现)
-
flink sql 知其所以然(三)| sql 自定义 redis 数据汇表获取源码(源码基于 1.13.1 实现)
-
flink sql 知其所以然(三)| sql 自定义 redis 数据汇表获取源码(源码基于 1.13.1 实现)
-
在你的本地安装并启动 redis-server。
-
执行源码包中的
flink.examples.sql._03.source_sink.RedisSinkTest
测试类,然后使用 redis-cli 执行get a
就可以看到结果了(目前只支持 kv,即 redisset key value
)。
如果想直接在集群环境使用:
-
命令行执行
mvn package -DskipTests=true
打包 -
将生成的包
flink-examples-0.0.1-SNAPSHOT.jar
引入 flink lib 中即可,无需其它设置。
2.背景篇-为啥需要 redis 数据汇表
目前在实时计算的场景中,熟悉 datastream 的同学在很多场景下都会将结果数据写入到 redis 提供数据服务。
举个例子:
-
外存状态引擎:需要把历史所有的 id 存储下来,但是因为 id 会不断增多,仅仅使用 flink 内部状态引擎的话,状态会越来越大,很难去保障其稳定性。那么这时就会选择外部状态引擎,比如 redis。在我们使用 redis 存储所有设备 id 时,除了使用 redis 作为维表去访问 id 是否出现过,还需要将新增的 id 写入到 redis 中以供后续的去重。这时候就需要使用到 redis sink 表。
-
数据服务引擎:在某些大促(双十一)的场景下需要将 flink 计算好的结果直接写入到 redis 中以提供高速数据服务引擎,直接提供给大屏查询使用。
而官方是没有提供 flink sql api 的 redis sink connector 的。如下图,基于 1.13 版本。
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/overview/
1
阿里云 flink 是提供了这个能力的。
https://www.alibabacloud.com/help/zh/faq-detail/118038.htm?spm=a2c63.q38357.a3.16.48fa711fo1gVUd
2
因此本文在介绍怎样自定义一个 sql 数据汇表的同时,实现一个 sql redis sink connector 来给大家使用。
3.目标篇-redis 数据汇表预期效果
redis 作为数据汇表在 datastream 中的最常用的数据结构有很多,基本上所有的数据结构都有可能使用到。本文实现主要实现 kv 结构,其他结构大家可以拿到源码之后进行自定义实现。也就多加几行代码就完事了。
预期效果就如阿里云的 flink redis,redis set key value
的预期 flink sql:
CREATE TABLE redis_sink_table (
key STRING, -- redis key