flinksql如何关联mysql维表_flink-维表关联

最新推荐文章于 2024-06-07 08:00:00 发布
最新推荐文章于 2024-06-07 08:00:00 发布
阅读量2.1k 收藏 1
点赞数
文章标签： flinksql如何关联mysql维表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39796868/article/details/113415922
版权
本文详细介绍了Flink SQL如何关联MySQL维表，包括1.9之前和1.9之后的版本区别，以及Blink SQL的LRU和ALL缓存方案。通过实例展示了如何定义和使用维表，以及相关查询语句。
摘要由CSDN通过智能技术生成

衡量指标

总体来讲，关联维表有三个基础的方式：实时数据库查找关联(Per-Record Reference Data Lookup)、预加载维表关联(Pre-Loading of Reference Data)和维表变更日志关联(Reference Data Change Stream)，而根据实现上的优化可以衍生出多种关联方式，且这些优化还可以灵活组合产生不同效果(不过为了简单性这里不讨论同时应用多种优化的实现方式)。对于不同的关联方式，我们可以从以下 7 个关键指标来衡量(每个指标的得分将以 1-5 五档来表示):实现简单性: 设计是否足够简单，易于迭代和维护。

吞吐量: 性能是否足够好。

维表数据的实时性: 维度表的更新是否可以立刻对作业可见。

数据库的负载: 是否对外部数据库造成较大的负载(负载越低分越高)。

内存资源占用: 是否需要大量内存来缓存维表数据(内存占用越少分越高)。

可拓展性: 在更大规模的数据下会不会出现瓶颈。

结果确定性: 在数据延迟或者数据重放情况下，是否可以得到一致的结果。

==========================实践

1.9之前版本

不支持维表查询，需要手动编写代码实现维表DDL创建。

1．执行测试类：com.yunzhihui.tempTable.TempTableAPIJoin1

2．查询sql

//定义流表

Table table = tableEnv.fromDataStream(stringDataStreamSource, "

最低0.47元/天 解锁文章
weixin_39796868
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 3003
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快
FlinkSQL MySQL维表关联
L, there!
10-22 2291
需求：消费Kafka数据，进行数据清洗及维表关联补齐字段，最后结果写入Kafka。 import java.time.Duration import com.sm.function.udf._ import com.sm.common.conf.PropManager import com.sm.constants.Constants import com.sm.utils.FlinkUtils import org.apache.flink.api.common.restartstrategy..
Flink_SQL关联维表
qq_44426756的博客
06-18 921
package com.ygy.gmall.realtime.test3; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class Flink_SQL_join { public static void main(String[] ar
Flink Sql：四种Join方式详解（基于flink1.15官方文档）
最新发布
weixin_52134189的博客
06-07 2268
Regular Joins（常规连接 ），Interval Joins（间隔连接），Temporal Joins（时态连接）， lookup join（查找连接）
Flink流批一体计算（24）：Flink SQL之mysql维表实时关联
victory0508的专栏
12-06 1371
目前在实时计算的场景中，大多数都使用过MySQL、Hbase、redis作为维表引擎存储一些维度数据，然后在DataStream API中调用MySQL、Hbase、redis客户端去获取到维度数据进行维度扩充。如果超过该值，则最老的行记录将会过期，会被新的记录替换掉。指定缓存中每行记录的最大存活时间。本案例采用MySQL创建维表，与创建MySQL sink表语法相同。在MySQL中创建名为sync_test_3的表。（默认值）：缓存空的查询结果。是否缓存空的查询结果。：不缓存空的查询结果。
转载，维表join详解
qq_31866793的博客
09-04 1184
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。需要注意是，目前Flink SQL的维表JOIN仅支持对当前时刻维表快照的关联(处理时间语义)，而不支持事实
pyflink实现hive关联mysql
05-30
pyflink将mysql数据直接插入hive，由此可以延伸出pyflink实现hive关联mysql
Flink超神文档.pdf
01-29
#### 十一、Flink关联维表实战 **11.1 TableAPI和FlinkSQL** - **开发环境构建**: 构建支持 TableAPI 和 FlinkSQL 的开发环境。 - **TableEnvironment**: 提供 Table API 的入口。 - **TableAPI**: - **创建Table...
Flink Hologres云原生实时数仓最佳实践.pdf
06-19
6. **维表关联与离线加速**：维表关联是将维度数据与事实数据相结合的过程，用于丰富分析信息。离线加速则是通过预计算等方式提升离线查询速度。 7. **联邦计算**：联邦计算允许跨多个数据源进行联合查询，提供单一...
Flink + TiDB，体验实时数仓之美.pdf
06-19
2. **实时维表场景**：Flink 处理 Kafka 中的事实表增量数据，同时关联来自 MySQL 或 TiDB 的维表数据，实现流式数据的实时关联分析。 3. **CDC 场景**：通过 Change Data Capture (CDC)，Flink 可以捕获数据源的...
基于开源的flink对其实时sql进行扩展；主要实现了流与维表的join
08-08
基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join
关于flinksql 与维表mysql的关联问题记录
ChengYanan的博客
03-05 771
此问题摘录自Flink中文社区邮件，仅仅作为记录用。 Q: 我有个问题想请教下,关于flinksql与mysql维表关联 关于mysql更新的问题 有没有好的方法？我现在使用的广播mysql但是有个问题，广播mysql时我的流数据已经到了但是mysql的数据还没有到导致我现在数据会再启动的时候丢失一部分数据。 A: 如果是想达到延迟JOIN的目的，可以考虑利用WaterMark的maxoutoforderness。 job取消时做savepoint重启时应该不会有这个问题 A： 您的意思是open 全量预加
Flink 维表关联多种方案对比
weixin_42073629的博客
10-24 3110
提到 Flink SQL 如何 Join 两个数据流，有读者反馈说如果不打算用 SQL 或者想自己实现底层操作，那么如何基于 DataStream API 来关联维表呢？实际上由于 Flink DataStream API 的灵活性，实现这个需求的方式是非常多样的，但是大部分用户很难在设计架构时就考虑得很全面，可能会走不少弯路。 针对于此，笔者根据工作经验以及社区资源整理了用 DataStream 实现 Join 维表的常见方式，并给每种的方式优劣和适用场景给出一点可作为参考的个人观点。 衡量指标 总
扩展FlinkSQL实现流与维表的join
weixin_34383618的博客
09-12 2361
现在最新版本的flink1.6版本现在还不支持直接用SQL来实现流与维表的join。这里打个广告我们团队已经实现了这个功能并且开源 https://github.com/DTStack/flinkStreamSQL 这里先解释下什么是维表；维表是动态表，表里所存储的数据有可能不变，也有可能定时更新，但是更新频率不是很频繁。在业务开发中一般的维表数据存储在...
轻松通关Flink第19讲：Flink 如何做维表关联
sucaiwa的博客
03-28 1950
这一课时我们讲解了 Flink 关联维度表的几种常见方式，分别介绍了它们的优劣和适用场景，并进行了代码实现。我们在实际生产中应该从业务本身出发来评估每种方案的优劣，从而达到维表关联在时效性和性能上达到最优。点击这里下载本课程源码。
FlinkSQL流表与维表join 和 双流join
一直奔跑的马
07-06 2582
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，补充事实表的信息。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常为kafka的实时流数据，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。 本文主要介绍 1、流表和维表的区别2、流表和维表join的数据流转解析3、双流join的数据流转解析4、代码示例和场景 1、流表和维表的区别：
flink维表关联系列之Mysql维表关联：全量加载
雾岛与鲸的博客
09-16 2012
在维表关联中定时全量加载是针对维表数据量较少并且业务对维表数据变化的敏感程度较低的情况下可采取的一种策略，对于这种方案使用有几点需要注意： 全量加载有可能会比较耗时，所以必须是一个异步加载过程 内存维表数据需要被流表数据关联读取、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，可使用原子引用变量包装内存维表数据对象，即AtomicReference 查内存维表数据非异步io过程 具体实例：广告流量统计，广告流量数据包含：广告位id,用户设备id,事件类型(点击、浏览)，发生时间
Flink维度关联的几种思路
不爱吃鱼的馋猫
11-23 1138
在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。 在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定时更新，需要我们根据业务进行关联。根据我们业务对维表数据关联的时效性要求，有以下几种解决方案： 实时查询维表关联 预加载维表关联 热存储关联 其
flink sql中如何关联mysql中的维表
06-10
在Flink SQL中，可以通过Flink Table API或者Flink SQL去关联MySQL中的维表。 具体步骤如下： 1. 使用Flink的JDBC Connector连接到MySQL数据库，并创建一个MySQL表的Flink表； 2. 在Flink SQL中使用CREATE TABLE语句创建一个维表的Flink表，例如： ``` CREATE TABLE mysql_dim_table ( id INT, name STRING, age INT, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:3306/test', 'connector.table' = 'dim_table', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector.username' = 'root', 'connector.password' = 'root' ) ``` 3. 在Flink SQL中使用SELECT语句查询主表，并通过JOIN语句关联维表，例如： ``` SELECT t1.*, t2.name, t2.age FROM main_table t1 JOIN mysql_dim_table t2 ON t1.id = t2.id ``` 上述SQL语句中，main_table是Flink表的名称，t1是main_table的别名，mysql_dim_table是MySQL维表的Flink表名称，t2是mysql_dim_table的别名。通过ON子句中的条件进行关联。 4. 最后，通过Flink的API或者Flink SQL执行查询语句，获取结果。 需要注意的是，Flink SQL中关联MySQL维表的语句可能会导致性能问题，因此需要根据实际情况进行优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值