Flink实例（五十八）：维表join（二）Flink维表Join实践

已于 2022-07-03 23:19:27 修改
阅读量1.1k 收藏 2
点赞数 2
分类专栏： Flink系统性学习专栏 文章标签： flink 数据库 java
于 2021-01-23 14:16:10 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113046003
版权
本文详细介绍了Flink中四种维表Join的实现方式：预加载维表（内存加载）、热存储维表（如Redis、HBase、MySQL）、广播维表（Broadcast State）以及Temporal Table Function Join。每种方式都有其优缺点，例如预加载适合小数据量，热存储不受数据量限制但受限于外部系统，广播维表适合小数据量且变更及时，Temporal Table Function Join支持大容量和及时更新，但仅限于Flink SQL。通过实例展示了每种方法的实现和应用场景。
摘要由CSDN通过智能技术生成

常见的维表Join方式有四种：

  1. 预加载维表
  2. 热存储维表
  3. 广播维表
  4. Temporal table function join

下面分别使用这四种方式来实现一个join的需求，这个需求是：一个主流中数据是用户信息，字段包括用户姓名、城市id；维表是城市数据，字段包括城市ID、城市名称。要求用户表与城市表关联，输出为：用户名称、城市ID、城市名称。

用户表表结构如下：

字段名 数据类型 数据样例
用户姓名 String User1
城市ID Int 1001
时间戳 Long 1000

城市维表表结构如下：

字段名 数据类型 数据样例
城市ID Int 1001
城市名称 String beijing
时间戳 Long 1000
了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
Flink实例（五十七）：维表join（一）Apache Flink 维表关联实战
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 625
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1Join 的概念 2 Streaming SQL Join Flink DataStream Join ......
Flink维表Join实践
鸣宇淳的专栏
06-01 4652
这个文章是根据 【实时数仓篇】基于 Flink 的典型 ETL 场景实现 写的，对视频中讲解的四种维表Join分别实现了一些Demo。 常见的维表Join方式有四种： 预加载维表 热存储维表 广播维表 Temporal table function join 下面分别使用这四种方式来实现一个join的需求，这个需求是：一个主流中数据是用户信息，字段包括用户姓名、城市id；维表是城市数据，字段包括城市ID、城市名称。要求用户表与城市表关联，输出为：用户名称、城市ID、城市名称。 1、 预加载维表 通过定义
Flink多流关联(超过两个实时流)
u013939918的博客
04-11 8132
Flink怎么实现多个实时流的关联。官方文档，很多教程 给的Demo都是两个实时流的关联。 1. 分析业务数据源，很多需要多个流的join的场景 是伪命题，用union即可。 2. union + group by ，在基于key的流中可以取代join。优势： 在join 发生数据倾斜或者反压，很难 checkpoint时，用union可以回避这个问题。 3. 例如三个流join，可以...
Flink--9、双流联结（窗口联结、间隔联结）
最新发布
星光不问赶路人，岁月不负有心人
10-06 964
双流联结（窗口联结、间隔联结）
Flink维表Join
GavinKai
11-05 3880
衡量指标 总体来讲，关联维表有三个基础的方式：实时数据库查找关联（Per-Record Reference Data Lookup）、预加载维表关联（Pre-Loading of Reference Data）和维表变更日志关联（Reference Data Change Stream），而根据实现上的优化可以衍生出多种关联方式，且这些优化还可以灵活组合产生不同效果（不过为了简单性这里不讨论同时应用多种优化的实现方式）。对于不同的关联方式，我们可以从以下 7 个关键指标来衡量（每个指标的得分将以 1-..
Flink实例（五十九）：维表join（三）Flink 使用 broadcast 实现维表或配置的实时更新
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1155
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 问题导读 1.本文介绍了几种维表方案？ 2.各个方案有什么优缺点？ 3. broadcast如何实现实时更新维表案例？ 通过本文你能 get 到以下知识： Flink 常见的一些维表关联的案例 常见的维表方案及每种方案适用场景，优缺点 案例：broadcast 实现维表或配置的实时更新 一、案例分析 维表服务在 Flink 中是一个经常遇到的业务场景，例如： 客户端上报的用..
Flink实例（六十）：维表join（四）基于flink实现典型ETL场景（如何实现维表join、双流join）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 713
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 参考链接： https://files.alicdn.com/tpsservice/e4356097e11364edadb5627a892ee53b.pdf ......
flinksql如何关联mysql维表_Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join...
weixin_33902011的博客
02-23 1256
https://zhuanlan.zhihu.com/p/165962937?utm_source=qq维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据...
Flink 维表 Join 实践|附四种方式的源码
大数据星球-浪尖
04-29 679
常见的维表Join方式有四种：预加载维表热存储维表广播维表Temporal table function join下面分别使用这四种方式来实现一个join的需求，这个需求是：一个主流中数据...
基于开源的flink对其实时sql进行扩展；主要实现了流与维表的join
08-08
基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join
Flink教程(12) 两条流关联 window窗口的 join leftJoin使用案例
Java Spring Elasticsearch
03-19 1813
两条流关联 window窗口的 join leftJoin使用案例一、温度数据和实体类1. 温度数据2. 实体类3. 将字符串映射成SensorRecord对象二、window join1. 获取2条数据流2. join的代码3. KeySelector4. 设置join后的结果对象三、window left join1. left join主体代码2. MyCoGroupFunction 一、温度数据和实体类 1. 温度数据 第一个是id，第二个四温度，第三个是事件事件 1,20.5,2021-01-29
【Flink流式计算框架】：Flink维表join
Yuan_CSDF的博客
06-02 1273
前言 Flink常见的维表Join方式有四种： 预加载维表 热存储维表 广播维表 Temporal table function join 1.预加载维表 通过定义一个类实现RichMapFunction，在open()中读取维表数据加载到内存中，在map()方法中与维表数据进行关联。RichMapFunction中open方法里加载维表数据到内存的方式特点如下： 优点：实现简单 缺点：因为数据存于内存，所以只适合小数据量并且维表数据更新频率不高的情况下。虽然可以在open中定义一个定时器定
Flink 连接流详解
qq_34125999的博客
02-14 959
最简单的合流操作，就是直接将多条流合在一起，叫作流的“联合”（union）。联合操作要求必须流中的数据类型必须相同，合并之后的新流会包括所有流中的元素，数据类型不变。这种合流方式非常简单粗暴，就像公路上多个车道汇在一起一样。在代码中，我们只要基于 DataStream 直接调用.union()方法，传入其他 DataStream 作为参数，就可以实现流的联合了；union()的参数可以是多个 DataStream，所以联合操作可以实现多条流的合并。这里需要考虑一个问题。
Flink Broadcast State实用指南
Matrix42
06-27 3554
从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。 什么是Broadcast State？ Broadcast State可用于以特定方式组合和联合处理两个事件流。第一个流的事件被广播到一个算...
Flink 双流Join
javaMylife的博客
04-26 1103
对处于同一窗口的数据进行join时间类型：processTime、eventTime问题：1、不在同一窗口的数据无法join，2、只能inner join。
Flink-join(流表关联流表，流表关联维表),自定义函数，sql如何保证数据唯一性,执行一组sql的好处...
weixin_48370579的博客
08-03 1918
10、Flink join 1、Regular Joins 将两个关联表长存再状态中，可以一直关联上 会导致状态越来越大 和批处理关联结果是一样的 -- 创建学生表流表，数据再kafka中 drop table student_join; CREATE TABLE student_join ( id String, name String, age int, gender STRI...
Flink笔记-双流join
ooeeerrtt的博客
05-06 526
一、intervalJoin 流A intervalJoin 流B，只要满足以下条件即为join成功。 流B的时间戳大于等于流A的时间戳减下界 且流B的时间戳小于等于流A的时间戳加上界 且流A的key等于流B的key。 ProcessJoinFunction public class TwoStreamJoinStream { public static vo...
大数据培训Flink 常见的维表 Join 方案
weixin_45695430的博客
04-18 1982
以下文章来源于大数据左右手 ，作者左右 前言 实时数仓，难免会遇到join维表的业务。现总结几种方案，供各位看官选择： 查找关联（同步，异步） 状态编程,预加载数据到状态中，按需取 冷热数据 广播维表 Temporal Table Join Lookup Table Join 查找关联 查找关联就是在主流数据中直接访问外部数据（mysql，redis，impala ...）去根据主键或者某种关键条件去关联取值。 适合: 维表数据量大，但是主数据不大的业务实时计算。 缺点：数据量大的时候
Apache Flink 中文实战：维表关联解析
在Apache Flink的处理流程中，维表关联（Join）是一个核心且重要的操作，它允许我们结合来自不同数据源的信息，以便进行更复杂的分析和处理。这份文档深入探讨了Flink中的维表关联，包括Flink SQL和DataStream API的...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值