flink sql 知其所以然（三）| 自定义 redis 数据汇表（附源码）

最新推荐文章于 2024-06-20 20:04:14 发布

大数据羊说

最新推荐文章于 2024-06-20 20:04:14 发布

阅读量541

点赞数

分类专栏： Apache Flink 实时计算

本文链接：https://blog.csdn.net/qq_34608620/article/details/119745550

版权

感谢您的关注 + 点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！

1.序篇-本文结构

本文主要介绍了 flink sql redis 数据汇表的实现过程。

大数据羊说

大数据羊说

用数据提升美好事物发生的概率~

27篇原创内容

公众号

如果想在本地测试下：

在你的本地安装并启动 redis-server。
执行源码包中的 flink.examples.sql._03.source_sink.RedisSinkTest 测试类，然后使用 redis-cli 执行 get a 就可以看到结果了（目前只支持 kv，即 redis set key value）。

如果想直接在集群环境使用：

目前在实时计算的场景中，熟悉 datastream 的同学在很多场景下都会将结果数据写入到 redis 提供数据服务。

举个例子：

外存状态引擎：需要把历史所有的 id 存储下来，但是因为 id 会不断增多，仅仅使用 flink 内部状态引擎的话，状态会越来越大，很难去保障其稳定性。那么这时就会选择外部状态引擎，比如 redis。在我们使用 redis 存储所有设备 id 时，除了使用 redis 作为维表去访问 id 是否出现过，还需要将新增的 id 写入到 redis 中以供后续的去重。这时候就需要使用到 redis sink 表。
数据服务引擎：在某些大促（双十一）的场景下需要将 flink 计算好的结果直接写入到 redis 中以提供高速数据服务引擎，直接提供给大屏查询使用。

而官方是没有提供 flink sql api 的 redis sink connector 的。如下图，基于 1.13 版本。

https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/overview/

阿里云 flink 是提供了这个能力的。

https://www.alibabacloud.com/help/zh/faq-detail/118038.htm?spm=a2c63.q38357.a3.16.48fa711fo1gVUd

因此本文在介绍怎样自定义一个 sql 数据汇表的同时，实现一个 sql redis sink connector 来给大家使用。

redis 作为数据汇表在 datastream 中的最常用的数据结构有很多，基本上所有的数据结构都有可能使用到。本文实现主要实现 kv 结构，其他结构大家可以拿到源码之后进行自定义实现。也就多加几行代码就完事了。

预期效果就如阿里云的 flink redis，redis set key value 的预期 flink sql：

CREATE TABLE redis_sink_table (
    key STRING, -- redis key

关注

专栏目录