Flink Table & SQL 双流Join

最新推荐文章于 2024-12-02 12:00:00 发布
最新推荐文章于 2024-12-02 12:00:00 发布
阅读量4.3k 收藏 21
点赞数 1
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangpei1949/article/details/105335447
版权

本文总结Flink Table & SQL 中的双流Join。

  1. Regular Join

  2. Interval Join

  3. Window Join

Regular Join

Regular Join: 常规Join。

在使用时注意以下几点:

  1. 默认情况下，需要将两个流的输入全部保存在State中。为限制状态无限增长，可通过Query Configuration设置空闲状态保留时长。

  2. 目前仅支持等值连接。

  3. Outer Join(Left Join/Right Join/Full Join)会产生ADD/RETRACT消息，即RetractStream。在输出时注意一下。

代码示例

package com.bigdata.flink.streamJoin.regularJoin;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.types.Row;

/**
 * Author: Wang Pei
 * Summary:
 * Regular Join
 */
public class RegularJoin {
    public static void main(String[] args) throws Exception {

        EnvironmentSettings settings = EnvironmentSettings.newInstance().inStreamingMode().useBlinkPlanner().build();
        StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(streamEnv, settings);

        // 流1
        // 浏览流 {"userID":"user_1","eventType":"browse","eventTime":"2015-01-01 00:00:00"}
        String kafkaBrowse = ""
                + "CREATE TABLE kafka_browse_log "
                + "( "
                + "    userID STRING, "
                + "    eventType STRING, "
                + "    eventTime STRING, "
                + "    proctime as PROCTIME() "
                + ") WITH ( "
                + "    'connector.type' = 'kafka', "
                + "    'connector.version' = '0.10', "
                + "    'connector.properties.bootstrap.servers' = 'kafka01:9092', "
                + "    'connector.properties.zookeeper.connect' = 'kafka01:2181', "
                + "    'connector.topic' = 'topic_1', "
                + "    'connector.properties.group.id' = 'c1', "
                + "    'connector.startup-mode' = 'latest-offset', "
                + "    'format.type' = 'json' "
                + ")";
        tableEnv.sqlUpdate(kafkaBrowse);
        tableEnv.toAppendStream(tableEnv.from("kafka_browse_log"), Row.class).print();

        // 流2
        // 用户基础信息变化流 {"userID":"user_1","userName":"name1","userAge":10,"userAddress":"Mars"}
        String kafkaUser = ""
                + "CREATE TABLE kafka_user_change_log "
                + "( "
                + "    userID STRING, "
                + "    userName STRING, "
                + "    userAge INT, "
                + "    userAddress STRING "
                + ") WITH ( "
                + "    'connector.type' = 'kafka', "
                + "    'connector.version' = '0.10', "
                + "    'connector.properties.bootstrap.servers' = 'kafka01:9092', "
                + "    'connector.properties.zookeeper.connect' = 'kafka01:2181', "
                + "    'connector.topic' = 'topic_2', "
                + "    'connector.properties.group.id' = 'c1', "
                + "    'connector.startup-mode' = 'latest-offset', "
                + "    'format.type' = 'json' "
                + ")";
        tableEnv.sqlUpdate(kafkaUser);
        tableEnv.toAppendStream(tableEnv.from("kafka_user_change_log"), Row.class).print();

        // INNER JOIN
        //String execSQL = ""
        //        + "SELECT * "
        //        + "FROM kafka_browse_log "
        //        + "INNER JOIN kafka_user_change_log "
        //        + "ON kafka_browse_log.userID = kafka_user_change_log.userID ";
        //tableEnv.toAppendStream(tableEnv.sqlQuery(execSQL), Row.class).print();

        // LEFT JOIN
        //String execSQL = ""
        //        + "SELECT * "
        //        + "FROM kafka_browse_log "
        //        + "LEFT JOIN kafka_user_change_log "
        //        + "ON kafka_browse_log.userID = kafka_user_change_log.userID ";
        //tableEnv.toRetractStream(tableEnv.sqlQuery(execSQL), Row.class).print();

        // RIGHT JOIN
        //String execSQL = ""
        //        + "SELECT * "
        //        + "FROM kafka_browse_log "
        //        + "RIGHT JOIN kafka_user_change_log "
        //        + "ON kafka_browse_log.userID = kafka_user_change_log.userID ";
        //tableEnv.toRetractStream(tableEnv.sqlQuery(execSQL), Row.class).print();

        // FULL JOIN
        String execSQL = ""
                + "SELECT * "
                + "FROM kafka_browse_log "
                + "FULL JOIN kafka_user_change_log "
                + "ON kafka_browse_log.userID = kafka_user_change_log.userID ";
        tableEnv.toRetractStream(tableEnv.sqlQuery(execSQL), Row.class).print();

        tableEnv.execute(RegularJoin.class.getSimpleName());
    }
}

Interval Join

Interval Join: 间隔连接。场景示例: 一个流Join另一个流一段相对时间内的数据。

在使用时注意以下几点:

  1. 支持Process Time和Event Time。

  2. 对超出时间范围的数据会自动清除，避免State过大。

  3. 支持非等值连接。如>=、>、<=、<、BETWEEN ... AND ... 。

  4. Flink DataStream 基于Interval Join实时Join过去一段时间内的数据

代码示例

package com.bigdata.flink.streamJoin.regularJoin;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.types.Row;

/**
 * Author: Wang Pei
 * Summary:
 * Interval Join
 */
public class IntervalJoin {
    public static void main(String[] args) throws Exception {

        EnvironmentSettings settings = EnvironmentSettings.newInstance().inStreamingMode().useBlinkPlanner().build();
        StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(streamEnv, settings);

        // 流1
        // 浏览流 {"userID":"user_1","eventType":"browse","eventTime":"2015-01-01 00:00:00"}
        String kafkaBrowse = ""
                + "CREATE TABLE kafka_browse_log "
                + "( "
                + "    userID STRING, "
                + "    eventType STRING, "
                + "    eventTime STRING, "
                + "    proctime as PROCTIME() "
                + ") WITH ( "
                + "    'connector.type' = 'kafka', "
                + "    'connector.version' = '0.10', "
                + "    'connector.properties.bootstrap.servers' = 'kafka01:9092', "
                + "    'connector.properties.zookeeper.connect' = 'kafka01:2181', "
                + "    'connector.topic' = 'topic_1', "
                + "    'connector.properties.group.id' = 'c1', "
                + "    'connector.startup-mode' = 'latest-offset', "
                + "    'format.type' = 'json' "
                + ")";
        tableEnv.sqlUpdate(kafkaBrowse);
        tableEnv.toAppendStream(tableEnv.from("kafka_browse_log"), Row.class).print();

        // 流2
        // 用户基础信息变化流 {"userID":"user_1","userName":"name1","userAge":10,"userAddress":"Mars"}
        String kafkaUser = ""
                + "CREATE TABLE kafka_user_change_log "
                + "( "
                + "    userID STRING, "
                + "    userName STRING, "
                + "    userAge INT, "
                + "    userAddress STRING, "
                + "    proctime as PROCTIME() "
                + ") WITH ( "
                + "    'connector.type' = 'kafka', "
                + "    'connector.version' = '0.10', "
                + "    'connector.properties.bootstrap.servers' = 'kafka01:9092', "
                + "    'connector.properties.zookeeper.connect' = 'kafka01:2181', "
                + "    'connector.topic' = 'topic_2', "
                + "    'connector.properties.group.id' = 'c1', "
                + "    'connector.startup-mode' = 'latest-offset', "
                + "    'format.type' = 'json' "
                + ")";
        tableEnv.sqlUpdate(kafkaUser);
        tableEnv.toAppendStream(tableEnv.from("kafka_user_change_log"), Row.class).print();

        // Interval Join
        String execSQL = ""
                + "SELECT * "
                + "FROM kafka_browse_log browse, "
                + "     kafka_user_change_log `user` "
                + "WHERE  "
                + "     browse.userID = `user`.userID "
                + "     AND `user`.proctime BETWEEN browse.proctime - INTERVAL '30' SECOND AND browse.proctime";
        tableEnv.toAppendStream(tableEnv.sqlQuery(execSQL), Row.class).print();

        tableEnv.execute(IntervalJoin.class.getSimpleName());
    }
}

Window Join

Window Join: 两个流相同Key，且相同窗口内的数据做Join。

在使用时注意以下几点:

  1. 还没找到Flink DataStream中的Window Join(Tumbling Window Join/Sliding Window Join/Session Window Join)好的SQL化表达。

  2. Flink DataStream中的Window Join参考:

    A. Flink DataStream Window Join: Inner Join、Left Join、Right Join

    B. Flink DataStream Window Join实现与示例

flink1.12 纯flinkSql 双流join实现舆情数据宽表加工
m0_37592814的博客
07-28 1141
细节待补充 主要是maxwell 监控采集到mysql中舆情数据表、用户信息表信息，用户表先与重点关注人员维度表、省份维度表关联得到用户信息维度表，再与舆情数据表实时join 最终落到es中 供各项指标查询 ...
Flink实战（九十八）：flink-sql使用（十六）双流join（一）双流 join 场景应用
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1822
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 本文主要介绍在流式场景中 join 的实战。大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的数据集进行查询，有Nested Loop/Hash Join/Sort Merge Join 等多表 join；而在实时场景中，join 两侧的数据都是无边界的数据流，所以缓存数据集对长时间 job 来说，存
Flink SQL 实战：双流 join 场景应用
Ververica的博客
12-03 2846
本文主要介绍在流式场景中 join 的实战。大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的...
Flink 中双流 Join 的深度解析与实战
最新发布
天冬忘忧的博客
12-02 1397
在大数据实时处理领域，Apache Flink 凭借其强大的流处理能力备受青睐。当面临多流数据关联分析场景时，双流 Join 操作至关重要。Flink DataStream API 贴心地提供了join、coGroup、intervalJoin三个算子助力我们达成双流 Join，接下来将深入探究它们的原理、使用方式及差异。
17.Flink双流Join——SQL
stable_zl的博客
08-27 589
本文介绍了基于flink sql的双流join
FlinkSQL中 的 双流JOIN
goTsHgo的博客
10-11 1121
Flink SQL 中的流与流JOIN是基于窗口和状态管理的复杂操作。通过维护两个流的键控状态，并结合事件时间和水印机制，Flink 可以处理无界数据流中的JOIN操作。底层通过窗口机制、状态存储以及异步事件驱动模型来处理流数据的匹配和关联。在实现中，状态的管理和清理、水印驱动的窗口触发、以及事件时间处理是核心所在。
大数据（9h）FlinkSQL双流JOIN
ArYe
11-29 2015
Lookup Join Temporal Joins 基于处理时间JOIN 设置状态保留时间 基于事件时间JOIN Interval Joins（基于间隔JOIN） Temporal Join
Flink sql join
qq_34125992的博客
06-19 322
细分 Flink SQL 支持的 Join
flink双流JOIN原理
野狼e族 的博客
02-02 1068
JOIN简介 谈flink双流JOIN之前，我们先谈一下大家最熟悉的mysql表join，我们知道表join有如下几种，具体区别就不在介绍了。那么流的join和表的join有什么区别呢？本文我们介绍一下。 CROSS JOIN - 交叉连接，计算笛卡儿积； INNER JOIN - 内连接，返回满足条件的记录； OUTER JOIN LEFT - 返回左表所有行，右表不存在补NULL； RIGHT - 返回右表所有行，左边不存在补NULL； FULL -返回左表和右表的并集，不存在一边补...
Flink DataStream转Table 使用SQL：join
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-06 1426
inner join 相当于全局窗口，之前的消息也一直保存着，来了一条能关联上的消息，则输出所有的笛卡尔积！ package SQL; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.fu
Flink实现双流join
chbxw
03-22 1447
Flink实现双流join
Flink双流JOIN
大数据知识梳理
04-28 9896
Flink双流JOIN
FlinkSQL流表与维表join 和 双流join
一直奔跑的马
07-06 2893
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，补充事实表的信息。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常为kafka的实时流数据，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。 本文主要介绍 1、流表和维表的区别2、流表和维表join的数据流转解析3、双流join的数据流转解析4、代码示例和场景 1、流表和维表的区别：
Flink SQL JOIN
qq_42575907的博客
05-26 1953
​ 注意我们这里 FOR SYSTEM_TIME AS OF 不是跟一个 processing time，而是左流的 event time，它的含义是去关联这个 event time 时刻 的 直 播 间 数 据 ， 同 时 我 们 在 直 播 间 u p s e r t 流 上 也 定 义 了 watermark，所以 temporal join changelog 在执行上会做 watermark 等待和对齐，保证关联上精确版本的结果，从而解决先前方案中关联不上的问题。
[实时计算flink]双流JOIN语句
soso1968的博客
10-10 1630
Flink SQL支持对动态表进行复杂而灵活的连接操作，本文为您介绍如何使用双流JOIN语句。实时计算的JOIN和传统批处理JOIN的语义一致，都用于将两张表关联起来。区别为实时计算关联的是两张动态表，关联的结果也会动态更新，以保证最终结果和批处理结果一致。
Flink之双流Join原理解析
淡定一生2333的博客
08-25 6165
之前研究了SparkSQL中Join的原理，本文来研究下Flink中的两条流Join的原理。Flink双流Join的demo可见参考中的链接，那位博主Demo写的非常的好。 Flink中的Join分为WindowJoin和Interval join两种。前者是将数据缓存在Window中，然后再进行Join，所以本质上其实和SparkSQL中的Join一样，算是个离线数据Join；Interval join不太一样，是一条流中的每个元素和另外一条流某个时间范围区间的所有元素进行...
1w 字详解 Flink 双流 join 的 3 种解决及优化方案（转）
qq_24095055的博客
05-03 3021
文章目录1 引子1.1 数据库SQL中的JOIN1.2 离线场景下的JOIN2 实时场景下的JOIN2.1 方案思路3 Flink的双流JOIN3.1 内部运行机制3.2 JOIN实现机制4 基于Window Join的双流JOIN实现机制4.1 join算子4.2 coGroup算子5 基于Interval Join的双流JOIN实现机制6 基于Connect的双流JOIN实现机制6.1 Connect算子原理6.2 技术实现7 双流JOIN的优化与总结 如何保证Flink双流Join准确性和及时性、
深入理解SQL关联查询->不等值连接
weixin_30408739的博客
05-10 3046
需求 : 针对每只债券symbol每天tdate的不同剩余期限term对应的收益率yield , 打上标签flag ('到期','行权') 　　flag字段判断规则 对于一个代码 , 如果只有一条数据 则无论DataSource的值 , flag='到期' 　　　　　　　　　　如果有两条一条数据 则term小的为行权 , term大的为到期 前提 : 对于一只债券 第2列DataSo...
sql中的非等值连接
TORTOISR的博客
03-06 2169
前言： 其实呢，很久以前有想过写关于sql的文档，但是又感觉没啥好写的，前两天面试刚好也问了很多来应聘测试关于多表查询的问题，但是能说出来非等值连接的真的寥寥无几。 非等值连接说白了啊就是连接条件中的关系不是等值的。 例子： 准备了一张人员表，与工资等级表。 查看对应人员的姓名、工资、工资等级。 select t.ENAME, t.SAL, f.GRADE from EMP t, SALGRADE f where t.SAL BETWEEN f.LOSAL and f.H
Flink Table &amp; SQL：流批统一的高效声明式API
&quot;Flink Table API 和 SQL 的使用与发展历程&quot; Flink Table API 和 SQL 是 Apache Flink 中用于处理数据的强大工具，尤其在大数据处理领域扮演着重要角色。这两个组件允许开发者以声明式的方式处理数据，使得数据处理...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值