本文介绍了如何在Flink中实现低延迟的维表关联，通过实时查询Redis来获取维表信息。示例代码展示了一个RichAsyncFunction类型的RedisSide类，用于异步查询Redis中的广告主ID。主流程部分展示了从Kafka消费数据，然后通过RedisSide进行维表关联，并打印结果。测试数据验证了方法的有效性。
在做维表关联如果要求低延时，即维表数据的变更能够被立刻感知到，所以就要求在查询时没有缓存策略，直接查询数据库维表信息。
本篇以实时查询redis为例，要求redis 客户端支持异步查询，可以使用io.lettuce包，支持redis不同模式：单点模式、sentinel模式、集群模式，需要在pom中引入：
io.lettuce
lettuce-core
5.0.5.RELEASE
io.netty
netty-all
4.1.24.Final
关于其不同模式的用法可以参考：https://juejin.im/post/5d8eb73ff265da5ba5329c66
里面做了比较详细的说明，为方便测试使用单点模式，仍以广告业务为例，根据广告位ID从redis里面查询对位的广告主ID。
Redis中数据准备：
hmset 1 aid 1 cid 1
hmset 2 aid 1 cid 2
使用hash结构，key表示广告位ID、aid表示广告主ID、cid表示广告计划ID
定义RichAsyncFunction类型的RedisSide，异步查询Redis
class RedisSide extends RichAsyncFunction[AdData, AdData] {
private var redisClient: RedisClient = _
private var connection: StatefulRedisConnection[String, String] = _
private var async: Redi
最低0.47元/天 解锁文章
1709
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
