flink sql在实时数仓中，关联hbase维表频繁变化的问题

最新推荐文章于 2023-11-15 14:38:53 发布
最新推荐文章于 2023-11-15 14:38:53 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： flink hbase 实时数仓 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36039236/article/details/111381177
版权
flink 同时被 3 个专栏收录
31 篇文章 5 订阅
订阅专栏
hbase
2 篇文章 0 订阅
订阅专栏
实时数仓
2 篇文章 9 订阅
订阅专栏

在用flink sql在做实时数仓，架构大概是kafka关联hbase维表，然后写入clickhouse。hbase维表是频繁变化的

现在遇到的几个比较棘手的问题：

  • 1、自己在实现AsyncTableFunction做异步io的时候，发现性能还是不够。后来就加入本地缓存，但是缓存一致性出现问题，不知道该如何解决
  • 2、写入hbase的时候，是批量写的，无法保证有序，维表频繁变化的话，顺序不对，会造成结果有问题
  • 3、hbase维表，可能5s后才会更新，但是此时kafka数据流已经过去了，关联的数据都是空

不知道，针对上面的场景，有什么好的解决思路或者方案？

雾岛与鲸
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
实战Flink+Doris实时数仓
06-21
给大家分享一套课程——实战Flink+Doris实时数仓课程，附源码+文档+虚拟机。
Flink实时数仓课程（艺人直播项目）
10-12
在实时数仓中，Flink可以作为一个实时ETL工具，从各种数据源实时摄取数据，进行清洗、转换，并将结果存储到数据仓库中。 课程会详细介绍如何配置和使用Flink的DataStream API，这是处理无界数据流的主要接口。通过...
Flink SQL维表JOIN与异步优化
胜利的曙光的博客
04-14 2069
Flink SQL维表JOIN与异步优化。
Flink流关联频繁更新的维表解决方法探索
weixin_41870706的博客
02-10 2790
目的 实时解析处理用户的注册，实名，申额，支用等用户业务流程数据binlog，计算用户生命周期的相应指标到Kudu中，并且需要将当用户指标数据发生变更后也要同时推送到kafka 给其他业务做增量计算，根据这些实时指标，进行后续实时营销等信息推送。 背景介绍 用户在app上进行简单注册后，会赋值给用户一个userid，但是后续实名等发生具体业务后，会给用户分配一个custno与userid映射关系相关联，接下来用户的所进行的业务例如绑定银行卡，人脸识别，申额，支用，还款等...
Flink 实时维度表join达到实时配置更新的几种方式总结
百看不如一RUN
11-08 3230
1、ETL背景 在我们日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求，为了给实时数仓来进行OLAP对来进行Ad-hoc查询，但是我们工作中一些维度表的数据是会发生变化的，可能是缓慢变化维度，那么这个时候就需要进行flink连接其他数据源来进行查询，那么这个时候我们肯定可以想到就是来一条查一次，这个是肯定可以做到的，但是在大数据场景下，我们是不是会觉得有点慢呢，我们是否有更好的解决方案，就像我写代码的时候 有时候就会思考有没有更好的解决方案，但是针对于要进行交付给用户，所以我们并没有那么多
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
zhengzaifeidelushang的博客
12-31 2762
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
weixin_33744141的博客
02-08 3254
引子 流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id，但是在做业务时需要根据店铺维度或者行业纬度进行聚合，这就需要先将交易日志与商品维表进行关联，补全所需的维度信息。这里所说的维表与数据仓库中的概念类似，是维度属性的集合，比如商品维...
以计算网站pv,uv为例，详解flink sql维度表关联(Temporal Join)
Sword_Zhao的博客
03-08 2977
本人最近在工作中遇到了一些指标需要用flink sql计算，其中就涉及到了维度表关联，开窗计算，提前输出等问题，现有网上内容(包括官网)，对此方面内容并不详细，容易让新手产生一定疑惑。故此以此文章来记录所遇到的问题以及解决方案，该文章会尽可能的详细记录所遇到的问题，希望可以帮助新入坑的朋友们顺利完成相关工作。 之所以选择pv和uv两个指标，一方面是这两个指标相对来说足够简单，同时也包含一定的技术点，而且也是数据工作中相对常见的指标，故此以此来作为案例讲解。 本文会介绍展示基于两种时间（事件时间和处理时间）的
Flink Hologres云原生实时数仓最佳实践.pdf
06-19
《Flink Hologres云原生实时数仓最佳实践》这篇文档主要探讨了现代企业如何构建和优化实时数仓，特别是在云原生环境下的最佳实践。实时数仓旨在解决传统数据仓库的延迟问题，提供更实时的数据分析能力，帮助企业快速...
基于 Flink 的实时数仓建设实践.pdf
06-19
在实时数仓各个模型层次中，存储解决方案的选择如下： * 数据明细层：Cellar 或 Elasticsearch * 数据汇总层：Druid 或 Elasticsearch * App 层： MySQL 或 Elasticsearch 在选择存储解决方案时，需要考虑到性能、...
FlinkSQL实战：HBase的结合应用
01-27
HDFS之上的NoSQL数据库，非常适合大规模实时查询，因此HBase在实时计算领域使用非常广泛。可以实时写 HBase，也可以利用buckload一把把离线Job生成HFileLoad到HBase 表中。而当下FlinkSQL的火热程度不用多说，Flink...
Flink Table和SQL动态表的理解(更新流和追加流)、动态表的种类
Bulut0907
02-16 2771
目录1. 动态表 1. 动态表 对于动态表，一旦前面的基表有insert、update、delete形式的changelog stream，就用一条SQL查询的物化视图即时更新动态表。物化视图用state缓存数据。动态表数据更新方式可以为append-only、retract、upsert 注意：动态表只是方便我们理解的一个逻辑表，实际并不存在 ...
【flink理论】动态表：关系查询处理流的思路：连续查询、状态维护；表转换为流需要编码编码
最新发布
hiliang521的博客
11-15 627
主要讲了： flink维护一个动态表来处理不断变化的流查询，这需要维护状态。 动态表转换为流或输出时需要进行流的编码
Flink动态更新维表
09-07 895
时态表包含一个或多个版本化的表快照，它可以是跟踪更改的更改历史表（例如数据库更改日志，包含所有快照），也可以是具体化更改的维表（例如包含最新快照的数据库表）。版本表：如果时态表中的记录可以追踪和并访问它的历史版本，这种表我们称之为版本表，来自数据库的 changelog （如mysql binlog）可以定义成版本表，版本表内的数据始终不会自动清理，只能通过upsert触发。默认情况下，在流表有数据变更，都会触发维表查询（可以通过设置维表是否缓存，来减轻查询压力），由于不保存状态，因此对内存占用较小。
flink实战（一） flink-sql关联hbase维度数据处理
zhaocuit的博客
07-04 5053
概述 最近项目中用到flink进行实时计算，流程为从kafka读取数据，如果是维度数据，则插入到hbase中，如果是需要实时计算的数据， 则进行实时计算，并将计算结果保存到MySQL中。在实时计算过程中，可能会用到hbase中的维度数据，为了开发的效率，使用flink-sql的方式实现。 flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的原理还是需要 仔细学习flink流式计算的相关内容。本文主要以flink-sql实现相关功能。 假设需求如
Flink SQL --维表join
chbxw
10-27 2932
flink sql 维表join
Flink SQL 优化实战 - 维表 JOIN 优化
cloudbigdata的博客
05-27 6523
从源码层面分析维表 Join 原理及调优方案
flink-sql消费kafka实时关联hbase获取维度信息
weixin_43803793的博客
11-09 1987
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); // env.setParallelism(1); // 1、创建表执行环节 StreamTableEnvironment tableEnv = St..
轻松通关Flink第19讲：Flink 如何做维表关联
sucaiwa的博客
03-28 1876
这一课时我们讲解了 Flink 关联维度表的几种常见方式，分别介绍了它们的优劣和适用场景，并进行了代码实现。我们在实际生产中应该从业务本身出发来评估每种方案的优劣，从而达到维表关联在时效性和性能上达到最优。点击这里下载本课程源码。
flink关联hbase维表
07-27
在Flink中关联Hbase维表的实现思路是利用Flink的RichAsyncFunction读取Hbase的数据到缓存中，并在关联维度表时先查询缓存，如果缓存中不存在这条数据，则利用Hbase客户端去查询Hbase，并将查询结果插入到缓存中。\[1\] 首先，我们需要引入Hbase的异步客户端依赖，例如asynchbase 1.8.2版本。\[2\] 在Flink流式计算中，维度属性一般存储在MySQL/HBase/Redis等数据库中，这些维表数据需要根据业务进行关联。根据业务对维表数据关联的时效性要求，可以采用以下几种解决方案： 1. 定时更新：定期从Hbase中读取维表数据，并将其加载到Flink的缓存中，以保持数据的最新性。 2. 异步查询：在关联维表时，先查询Flink的缓存，如果缓存中不存在，则异步地从Hbase中查询数据，并将查询结果插入到缓存中，以提高查询效率。 3. 增量更新：当维表数据发生变化时，只更新变化的部分数据，而不是全量更新，以减少数据的传输和处理开销。 以上是关联Hbase维表的一些实现思路和解决方案。具体的实现方式可以根据业务需求和系统架构进行选择和调整。 #### 引用[.reference_title] - *1* *2* *3* [轻松通关Flink第19讲：Flink 如何做维表关联](https://blog.csdn.net/sucaiwa/article/details/129808043)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值