感谢您的关注 + 点赞 + 再看,对博主的肯定,会督促博主持续的输出更多的优质实战内容!!!
1.序篇-本文结构
-
背景篇-为啥需要 redis 维表
-
目标篇-做 redis 维表的预期效果是什么
-
难点剖析篇-此框架建设的难点、目前有哪些实现
-
维表实现篇-维表实现的过程
-
总结与展望篇
本文主要介绍了 flink sql redis 维表的实现过程。
如果想在本地测试下:
大数据羊说
用数据提升美好事物发生的概率~
29篇原创内容
公众号
-
在公众号后台回复flink sql 知其所以然(二)| sql 自定义 redis 数据维表获取源码(源码基于 1.13.1 实现)
-
在你的本地安装并打开 redis-server,然后使用 redis-cli 执行命令
set a "{\"score\":3,\"name\":\"namehhh\",\"name1\":\"namehhh112\"}"
-
执行源码包中的
flink.examples.sql._03.source_sink.RedisLookupTest
测试类,就可以在 console 中看到结果。
如果想直接在集群环境使用:
-
命令行执行
mvn package -DskipTests=true
打包 -
将生成的包
flink-examples-0.0.1-SNAPSHOT.jar
引入 flink lib 中即可,无需其它设置。
2.背景篇-为啥需要 redis 维表
2.1.啥是维表?事实表?
Dimension Table 概念多出现于数据仓库里面,维表与事实表相互对应。
给两个场景来看看:
比如需要统计分性别的 DAU:
-
客户端上报的日志中(事实表)只有设备 id,只用这个事实表是没法统计出分性别的 DAU 的。
-
这时候就需要一张带有设备 id、性别映射的表(这就是维表)来提供性别数据。
-
然后使用事实表去 join 这张维表去获取到每一个设备 id 对应的性别,然后就可以统计出分性别的 DAU。相当于一个扩充维度的操作。
https://blog.csdn.net/weixin_47482194/article/details/105855116?spm=1001.2014.3001.5501
比如目前想要统计整体销售额:
-
目前已有 “销售统计表”,是一个事实表,其中没有具体销售品项的金额。
-
“商品价格表” 可以用于提供具体销售品项的金额,这就是销售统计的一个维度表。
事实数据和维度数据的识别必须依据具体的主题问题而定。“事实表” 用来存储事实的度量及指向各个维的外键值。维表用来保存该维的元数据。
参考:https://blog.csdn.net/lindan1984/article/details/96566626
2.2.为啥需要 redis 维表?
目前在实时计算的场景中,熟悉 datastream 的同学大多数都使用过 mysql\Hbase\redis 作为维表引擎存储一些维度数据,然后在 datastream api 中调用 mysql\Hbase\redis 客户端去获取到维度数据进行维度扩充。
而 redis 作为 flink 实时场景中最常用的高速维表引擎,官方是没有提供 flink sql api 的 redis 维表 connector 的。如下图,基于 1.13 版本。
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/overview/
1
阿里云 flink 是提供了这个能力的。但是这个需要使用阿里云的产品才能使用。有钱人可以直接上。
https://www.alibabacloud.com/help/zh/faq-detail/122722.htm?spm=a2c63.q38357.a3.7.a1227a53TBMuSY
2
因此本文在介绍怎样自定义一个 sql 数据维表的同时,实现一个 sql redis 来给大家使用。
3.目标篇-做 redis 维表预期效果是什么
redis 作为维表在 datastream 中的最常用的数据结构就是 kv、hmap 两种。本文实现主要实现 kv 结构,map 结构大家可以拿到源码之后进行自定义实现。也就多加几行代码就完事了。
预期效果就如阿里云的 flink redis:
下面是我在本地跑的结果,先看看 redis 中存储的数据,只有这一条数据,是 json 字符串:
9
下面是预期 flink sql:
CREATE TABLE dimTable (
name STRING,
name1 STRING,
score BIGINT -- redis 中存储数据的 schema
) WITH (
'connector' = 'redis', -- 指定 connector 是 redis 类型的
'hostname' = '127.0.0.1', -- redis server ip
'port' = '6379', -- redis server 端口
'fo