Flink如何做维表关联

最新推荐文章于 2024-03-15 11:21:33 发布
最新推荐文章于 2024-03-15 11:21:33 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： Flink系统性学习专栏
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/112756721
版权
本文探讨了Flink在处理实时流数据时如何与维表进行关联，包括实时查询维表、预加载全量数据和LRU缓存三种策略。实时查询可能造成对外部系统的高访问压力，预加载全量数据则可能导致数据不一致，而LRU缓存能平衡性能与延迟。Flink的异步IO功能有助于减轻系统延迟和提高吞吐量。
摘要由CSDN通过智能技术生成

声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。

《2021年最新版大数据面试题全面开启更新》

 

     在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如：在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的ID，那么需要根据ID去查询外部的维度表补充省名称属性。

     在Flink流式计算中，一些维度表属性一般存储在MySQL/HBase/Redis中，这些维度表数据存在定时更新，我们根据业务进行关联。根据业务对维表数据关联的时效性要求，有一下几种解决方案：

  • 实时查询维表
  • 预加载全量数据
  • LRU缓存
  • 其他

实时查询维表

     实时查询维表是指用户在Flink算子中直接访问外部数据库，比如用MySQL来进行关联。这种方式是同步方式，数据保证是最新的。但是，当流式计算数据过大，会对外部系统带来巨大的访问压力，一旦出现比如连接失败、线程池满等情况，由

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
第十九篇：Flink 如何做维表关联
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 1743
你好，欢迎来到第 19 课时，本课时主要讲解 Flink 中如何进行维度表的关联。 在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。 在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定时更新，需要我们根据业务进行关联。根据我们业务对维表数据关联的
flink读取MySQL维表_flink维表关联系列之Redis维表关联：实时查询
weixin_34193479的博客
02-07 856
在做维表关联如果要求低延时，即维表数据的变更能够被立刻感知到，所以就要求在查询时没有缓存策略，直接查询数据库维表信息。本篇以实时查询redis为例，要求redis 客户端支持异步查询，可以使用io.lettuce包，支持redis不同模式：单点模式、sentinel模式、集群模式，需要在pom中引入：io.lettucelettuce-core5.0.5.RELEASEio.nettynetty-...
基于开源的flink对其实时sql进行扩展；主要实现了流与维表的join
08-08
基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join
实时数仓之Flink维表关联难点解决方案
雾岛与鲸的博客
12-29 9682
1、维表关联的典型场景和考量标准 1.1、维表关联的典型场景 在实时数仓中，我们经常需要做维表关联，但是用户维表一般在业务数据库中，业务方是不允许大数据部门直接到业务数据库进行维表关联，因为这会影响线上业务。此时我们需要将用户维表采集到大数据平台，然后事实表就可以直接跟维表进行关联，从而生成事实宽表，具体场景如下图所示。 在生产环境中，我们通过数据采集平台将用户维表采集到大数据平台，然后事实表跟用户维表直接关联就可以了吗？ 答案，是不行的。因为在生产环境中，我们还需要考虑如下问题： （1）高流量的情况下
Flink 维表关联
qianyulin
10-24 670
但是，当我们的流计算数据过大，会对外 部系统带来巨大的访问压力，一旦出现比如连接失败、线程池满等情况，由于我们是同步调用，所以一般会导致线程阻塞、Task 等待数据返回，影响整体任务的吞吐量。利用 Flink 的 RichAsyncFunction 读取 mysql 的数据到缓存中，我们在关联维度表时先去查询缓存，如果缓存中不存在这条数据，就利用客户端去查询 mysql，然后插入到缓存中。
flink维度表关联
学一次的博客
08-30 1946
实时查询维表是指用户在Flink 的Map算子中直接访问外部数据库，比如用 MySQL 来进行关联，这种方式是同步方式，数据保证是最新的。最后，为了保证连接及时关闭和释放，一定要在最后的 close 方式释放连接，否则会将 MySQL 的连接数打满导致任务失败。当我们的系统启动时，就将维度表数据全部加载到内存中，然后数据在内存中进行关联，不需要直接访问外部数据库。如果维表的数据比较大，无法一次性全部加载到内存中，可以使用LRU策略加载维表数据。对计算节点的内存消耗很高，所以不能适用于数量很大的维度表。
Apache Flink 维表关联实战.pdf
08-18
Apache Flink 维表关联实战.pd
flinksql如何关联mysql维表_flink-维表关联
weixin_39796868的博客
01-27 2200
衡量指标总体来讲，关联维表有三个基础的方式：实时数据库查找关联(Per-Record Reference Data Lookup)、预加载维表关联(Pre-Loading of Reference Data)和维表变更日志关联(Reference Data Change Stream)，而根据实现上的优化可以衍生出多种关联方式，且这些优化还可以灵活组合产生不同效果(不过为了简单性这里不讨论同时应用...
flinksql如何关联mysql维表_Flink性能之维表关联方案对比
weixin_39964590的博客
01-27 828
问题导读：1、用哪些衡量指标Flink性能？2、有哪些实时数据库查找关联3、有哪些预加载维表关联？4、如何进行维表变更日志关联？上篇博客提到 Flink SQL 如何 Join 两个数据流，有读者反馈说如果不打算用 SQL 或者想自己实现底层操作，那么如何基于 DataStream API 来关联维表呢？实际上由于 Flink DataStream API 的灵活性，实现这个需求的方式是非常多样的...
Flink_SQL关联维表
qq_44426756的博客
06-18 927
package com.ygy.gmall.realtime.test3; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class Flink_SQL_join { public static void main(String[] ar
轻松入门进阶Flink第五课 维表关联和数据去重
fegus的博客
05-06 1143
第19讲：Flink 如何做维表关联 在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。 在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定时更新，需要我们根据业务进行关联。根据我们业务对维表数据关联的时效性要求，有以下几种解决方案： 实时查询
Flink 维表关联方案
猫猫爱吃小鱼粮
01-03 1992
Flink 维表关联方案
【Flink系列】开发篇：1. Flink维表关联方案
m0_37935211的博客
01-12 2507
谈一谈个人对Flink中不同维表关联方案的理解和尝试后发现的一些问题
Flink DataStream 关联维表实战
Ververica的博客
02-13 2583
上篇博客提到 Flink SQL 如何 Join 两个数据流，有读者反馈说如果不打算用 SQL 或者想自己实现底层操作，那么如何基于 DataStream API 来关联维表呢？实际上由...
中电金信：技术实践｜Flink维度表关联方案解析
最新发布
zhongdianjinxin的博客
03-15 1151
实时lookup数据库关联的特点是实现简单，但数据库压力较大，无法支撑大数据量的维度数据查询，并且在查询时只能根据当时的维度表数据查询，如果事实表数据重放或延迟，查询结果的正确性无法得到保证，且多次查询结果可能不一致。广播维度表方案是将维度表数据用流的方式接入Flink Job 程序，并将维度表数据进行广播，再与事件流数据进行关联，此种方式可以及时获取维度表的数据变更，但因数据保存在内存中，因此支持的维度表数据量较小。每条事实表数据都会根据关联键，到存储维度表的数据库中查询一次。
flink 维表关联多种方式
weixin_40954192的博客
07-23 4228
1.实时查询维表 优点：维表数据实时更新，可以做到实时同步到。 缺点：访问压力大，如果失败会造成线程阻塞。 实时查询维表是指用户在Flink算子中直接访问外部数据库。这种方式可以保证数据是最新的，但是当我们流计算数据过大，会对外部系统带来巨大的访问压力，比如：连接失败，连接池满等情况，就会导致线程阻塞。task等待数据返回. 核心就是通过Map算子中建立访问外部系统的连接。核心代码如下： public static void main(String[] args) throws Exce.
Flink流批一体计算（24）：Flink SQL之mysql维表实时关联
victory0508的专栏
12-06 1441
目前在实时计算的场景中，大多数都使用过MySQL、Hbase、redis作为维表引擎存储一些维度数据，然后在DataStream API中调用MySQL、Hbase、redis客户端去获取到维度数据进行维度扩充。如果超过该值，则最老的行记录将会过期，会被新的记录替换掉。指定缓存中每行记录的最大存活时间。本案例采用MySQL创建维表，与创建MySQL sink表语法相同。在MySQL中创建名为sync_test_3的表。（默认值）：缓存空的查询结果。是否缓存空的查询结果。：不缓存空的查询结果。
关于flinksql 与维表mysql的关联问题记录
ChengYanan的博客
03-05 782
此问题摘录自Flink中文社区邮件，仅仅作为记录用。 Q: 我有个问题想请教下,关于flinksql与mysql维表关联 关于mysql更新的问题 有没有好的方法？我现在使用的广播mysql但是有个问题，广播mysql时我的流数据已经到了但是mysql的数据还没有到导致我现在数据会再启动的时候丢失一部分数据。 A: 如果是想达到延迟JOIN的目的，可以考虑利用WaterMark的maxoutoforderness。 job取消时做savepoint重启时应该不会有这个问题 A： 您的意思是open 全量预加
flink sql 维表关联
08-26
在Flink SQL中进行维表关联的方法有多种。其中一种常见的方法是使用Redis作为维表存储介质，以获得较快的响应速度。然而，在写入和查询维表时，需要使用concat和table function函数进行处理，这种方式比较繁琐。有没有更简单的方法呢？可以通过以下几种方式进行维表关联： 1. 实时查询：即在每个事件流中动态查询维表数据。这种方式适用于维表数据量较小的情况。 2. 预加载全量数据：将维表数据提前加载到内存中，以便在查询时直接从内存中获取数据。这种方式适用于维表数据量较大但不会频繁变动的情况。 3. LRU缓存：使用Least Recently Used (LRU)算法，将最近使用的维表数据缓存到内存中，以提高查询速度。这种方式适用于维表数据量较大且经常变动的情况。 4. 广播维表：将维表数据广播到所有的任务节点，以避免网络通信开销。这种方式适用于维表数据较小且较为常用的情况。 5. 自定义线程池访问维表：通过自定义线程池来并发地查询维表数据，以提高查询效率。这种方式适用于维表数据量较大且需要频繁查询的情况。 6. 自己扩展Flink SQL中关联维表的方式：根据具体需求，可以自己扩展Flink SQL中关联维表的方式，以满足特定的业务需求。 综上所述，根据实际情况和需求，可以选择上述的一种或多种方式来进行Flink SQL中的维表关联操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Flink SQL多字段的维表关联查询-flink-connector-redis](https://blog.csdn.net/zilong00007/article/details/127111163)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [轻松通关Flink第19讲：Flink 如何做维表关联](https://blog.csdn.net/sucaiwa/article/details/129808043)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值