Flink实例(五十九):维表join(三)Flink 使用 broadcast 实现维表或配置的实时更新

本文探讨了Flink中维表关联的常见方案,包括预加载维表、热存储关联和广播维表。重点介绍了如何利用广播State实现维表或配置的实时更新,通过案例详细阐述了广播维表的使用方法和优化技巧,适用于维表数据量适中且需要实时更新的场景。
摘要由CSDN通过智能技术生成

问题导读

1.本文介绍了几种维表方案?
2.各个方案有什么优缺点?
3. broadcast如何实现实时更新维表案例?


通过本文你能 get 到以下知识:
 

  • Flink 常见的一些维表关联的案例
  • 常见的维表方案及每种方案适用场景,优缺点
  • 案例:broadcast 实现维表或配置的实时更新


一、案例分析

维表服务在 Flink 中是一个经常遇到的业务场景,例如:
 

  • 客户端上报的用户行为日志只包含了城市 Id,可是下游处理数据需要城市名字
  • 商品的交易日志中只有商品 Id,下游分析数据需要用到商品所属的类目
  • 物联网温度报警的场景中,处理的是设备上报的一条条温度信息,之前的报警规则是:只要温度大于 20 度需要报警,现在需要改成大于 18 度则报警。这里的报警阈值需要动态调整,因此不建议将代码写死


对于上述的场景,实际上都可以通过维表服务的方式来解决。


二、 维表方案

Flink 中常见的维表方案有以下几种:

1. 预加载维表
在算子的 open 方法中读取 MySQL 或其他存储介质,

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值