【flink】flink sql几种join的探索及应用

最新推荐文章于 2024-06-19 11:00:58 发布
最新推荐文章于 2024-06-19 11:00:58 发布
阅读量775 收藏 1
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/116133879
版权
本文探讨了一种实时数据增强的需求，通过Flink SQL处理Kafka数据流，增加7天内的申请人申请次数和担保人次数特征。文章详细介绍了regular join、interval join、temporal join、look up join和Lateral Table Join等不同类型的join，并分析了它们在实际场景中的适用性和测试结果。
摘要由CSDN通过智能技术生成

文章目录

问题

需求

最近碰到一个需求，有如下表格这样一个kafka数据源，用flink sql实时enrich这个流，加上两个特征

  1. 7天内同一申请人申请次数
  2. 7天内作为担保人出现的次数
event_id 事件id
apply_id 申请人id
contact_id 担保人id
apply_time 时间戳
最终解决方案
create table source_table(
	event_id string,
    apply_id string,
    contact_id string,
    apply_time bigint,
    et as  to_timestamp(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
重生之我在异世界打工
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 第8.4章 Flink Join 精讲
青冬的博客
05-07 4372
序 参考： Flink 中文社区 预计阅读时间：15min，共5700字。 Join Join 语义以及实现现在有很多的成熟方案，然而近年来，实时流之间的Join 却是刚刚起步。 在 Join 之中，最重要的就是我们一般实现 join 需要依赖于缓存整个数据集，但是在实时数据中，他是一个无限的数据流，内存压力和计算效率在长时间运行时，都会带来不可避免的问题。 那么我们先讲讲对于 Join的基础知识。 Batch SQL Join 传统的离线Batch SQL 有三种基础的...
Flink join详解（含两类API及coGroup、connect详解）
weixin_51981189的博客
02-20 2418
join、regular join、interval join、temporal join、connect、coGroup
Flink sql join
最新发布
qq_34125992的博客
06-19 84
细分 Flink SQL 支持的 Join
Flink 双流 Join 解决方案
m0_61607827的博客
04-13 3094
1.前言 本文主要是整理博主收集的 Flink 高频面试题。如果本文对你有所帮助，请点个喜欢 + 在看吧。 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： ⭐ Join 的应用场景 ⭐ 为什么流式计算中提到 Join 小伙伴萌就怕呢？ ⭐ 带大家看一遍本文思路 ⭐ Flink Join 解决方案：Flink Window Join ⭐ Flink Join
【Flink知识汇总】【Join专题】
weixin_43589563的博客
03-30 1386
Flink Join 专题Join 的应用场景批Join和流Join的区别Flink 双流Join1. Window Join认识Window JoinFlink APISQL API解决方案的特点解决方案的适用场景2. Interval Join2.1 认识Interval Join2.2 Flink API2.3 SQL API2.4 解决方案的特点2.5 解决方案的适用场景3. Regular Join3.1 认识Regular Join3.2 SQL API3.3 解决方案的特点3.4 解决方案的适
FlinkSql系列6之 Interval Join
feiyangailing的博客
03-30 4864
FlinkSql系列6之 Interval Join 前言 本次我们来学习flinksql的Interval Join,这个方式主要是针对两个流在一定时间区间内的join,支持事件时间和处理时间，而且这个流每次只会产生一条数据，是一个完全的追加流。 一、Interval Join是什么？ Interval Join 可以让⼀条流去 Join 另⼀条流中前后⼀段时间内的数据。 1.1 Inner Interval Join 只有两条流中的满足时间区间符合，并且满足其他的join条件，这时候才会匹配的上并
Flink join终结者：SQL Join
张普的专栏
11-10 3584
点击上方蓝 字关注~ SQL是开发人员与数据分析师必备的技能，Flink也提供了Sql方式编写任务，能够很大程度降低开发运维成本，这篇是flink join的终极篇SQL Join, 首先介绍sql join使用方式、然后介绍global join带来的状态存储成本及解决方式、最后从源码角度分析sql join实现。 一、SQL JOIN使...
Flink SQL大数据视频教程下载
09-15
Flink SQL 是 Flink 提供的一种用于数据处理的高级接口，它允许开发者用 SQL 语法来操作数据流，极大地降低了实时计算的门槛。本教程基于 2022 年的最新版本 Flink 1.14.3，将帮助你深入理解和应用 Flink SQL。 一...
flink table/sql api 示例大全完整中文注释
10-19
Flink Table/SQL API 是Apache Flink项目中的一个重要部分，它提供了一种声明式的数据处理方式，使得数据流处理更加接近传统的关系型数据库查询。在本示例大全中，我们将深入探讨Flink Table/SQL API的功能和用法，...
flink-sql-client.zip
01-16
- **SQL查询**：用户可以使用标准的SQL语法来定义数据源，处理数据流，如JOIN，GROUP BY，窗口操作等，并可以提交作业到Flink集群执行。 4. **Flink SQL的特点** - **SQL支持**：Flink SQL支持标准的SQL语法，...
【FlinkSql篇01】FlinkSql之入门概述1
08-04
总的来说，FlinkSQL为开发者提供了一种声明式的处理方式，简化了批处理和流处理任务的编写，使得数据处理更加直观和高效。同时，理解Flink的两种规划器之间的差异对于选择合适的处理策略至关重要。
Flink之join多流合并
热门推荐
蔡政洁的博客
03-25 1万+
目录（1）window多流合并（2）Window join（2.1）Tumbling Window Join详解（2.2）Sliding Window Join详解（2.3）Session Window Join详解（3）Interval join（4）几个流合并区别 （1）window多流合并 在Flink中支持窗口上的多流合并，即在一个窗口中按照相同条件对两个输入数据流进行关联操作，需要保证输入的Stream要构建在相同的Window上，并使用相同类型的Key作为关联条件。 （2）Window jo
详述FlinkSql Join操作
02-07 3396
Full Join：流任务中，左流或者右流的数据到达之后，如果没有 Join 到另外一条流的数据，就会等待（左流放在左流对应的 State 中等，右流放在右流对应的 State 中等），如果之后另一条流数据到达之后，发现能和刚刚那条数据 Join 到，则会输出。Full Join：和Left原理一样，左流或者右流的数据到达之后，无论有没有 Join 到另外一条流的数据，都会输出，如果一条流的数据到达之后，发现之前另一条流之前输出过没有 Join 到的数据，则会发起回撤流。
【实战-05】 flinksql look up join
笔生花的博客
09-04 1097
look up join 能做什么？不饶关子直接说答案， look up join 就是 广播。重要是事情说三遍，广播。flinksql中的look up join 就类似于flinks flink Datastream api中的广播的概念，但是又不完全相同，对于初次访问的数据会加入缓存， 一定时间未访问到的则会从缓存中去除。而广播则是直接广播到每个exxcotor.比如我们有一张订单表orders, 那么假设我们在进行flink计算的时候想获取该订单的相关的用户数据。
Flink SQL之Interval Joins
marui156的专栏
06-14 2001
区间是双流join的优化，基于处理时间或事件时间，在一定时间区间内数据，相同的key进行join（支持 Batch\Streaming）。Interval Join 可以让一条流去 Join 另一条流中前后一段时间内的数据。对于stream查询，时间区间oin只支持有时间属性的 append-only表。由于时间属性是准单调递增的，Flink可以从其状态中删除旧值，而不会影响结果的正确性。优点：由于给定了关联的区间，因此只需要保留很少的状态，内存压力较小。
大数据（9h）FlinkSQL之Lookup Join
ArYe
11-29 7177
ttl FOR SYSTEM_TIME AS OF Processing Time Temporal Join lookup join lookup cache Flink查询缓存 lookup.cache.max-rows lookup.cache.ttl
空0008
Direction_Wind的博客
04-11 2177
8。
flink sql join和left join
11-13
以下是Flink SQL中join和left join的介绍和示例： - join join是将两个或多个表中的记录组合起来，形成一个新的表格。在Flink SQL中，join操作可以使用标准的ANSI SQL语法，支持inner join、left join、right ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值