flink sql在实时数仓中，关联hbase维表频繁变化的问题

最新推荐文章于 2023-11-15 14:38:53 发布
最新推荐文章于 2023-11-15 14:38:53 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： flink hbase 实时数仓 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36039236/article/details/111381177
版权
flink 同时被 3 个专栏收录
31 篇文章 5 订阅
订阅专栏
hbase
2 篇文章 0 订阅
订阅专栏
实时数仓
2 篇文章 9 订阅
订阅专栏

在用flink sql在做实时数仓，架构大概是kafka关联hbase维表，然后写入clickhouse。hbase维表是频繁变化的

现在遇到的几个比较棘手的问题：

  • 1、自己在实现AsyncTableFunction做异步io的时候，发现性能还是不够。后来就加入本地缓存，但是缓存一致性出现问题，不知道该如何解决
  • 2、写入hbase的时候，是批量写的，无法保证有序，维表频繁变化的话，顺序不对，会造成结果有问题
  • 3、hbase维表，可能5s后才会更新，但是此时kafka数据流已经过去了，关联的数据都是空

不知道，针对上面的场景，有什么好的解决思路或者方案？

优化 Apache Flink 中的维表 Join 策略：探索最佳实践和技巧
击水三千里的专栏
01-12 1840
总体来讲，关联维表有六个基础的方式： （1）查找外部数据源关联 （2）预加载维表关联（内存，状态） （3）冷热数据储备（算是1和2的结合使用） （4）维表变更日志关联（广播也好，其他方式的流关联也好） （5）Temporal Table Join （6）Lookup Table Join
Flink——芒果TV的实时数仓建设实践
最新发布
爱吃辣条的博客
02-29 1682
Flink——芒果TV的实时数仓建设实践
Flink：动态表上的连续查询
大数据星球-浪尖
06-25 5037
用SQL分析数据流越来越多的公司在采用流处理技术，并将现有的批处理应用程序迁移到流处理或者为新的应用设计流处理方案。其中许多应用程序专注于分析流数据。分析的数据流来源广泛...
Flink流关联频繁更新的维表解决方法探索
weixin_41870706的博客
02-10 2955
目的 实时解析处理用户的注册，实名，申额，支用等用户业务流程数据binlog，计算用户生命周期的相应指标到Kudu中，并且需要将当用户指标数据发生变更后也要同时推送到kafka 给其他业务做增量计算，根据这些实时指标，进行后续实时营销等信息推送。 背景介绍 用户在app上进行简单注册后，会赋值给用户一个userid，但是后续实名等发生具体业务后，会给用户分配一个custno与userid映射关系相关联，接下来用户的所进行的业务例如绑定银行卡，人脸识别，申额，支用，还款等...
HBase踩过的坑——持续更新
weixin_34375054的博客
11-06 720
1.HBase数据热点问题 问题描述： 在某一个时刻，电池数据表的以某些规则开头的数据，比如M12******，这些电池一直在上报数据，由于HBase的存储是按照字典顺序排序的，所有某一时刻，相似规则的数据落在了同一个region上，造成了数据热点。 解决方法： 我们采取的是rowkey散列+预分区的方式：http:...
Flink 使用 broadcast 实现维表或配置的实时更新
http://www.54tianzhisheng.cn/
04-02 4858
通过本文你能 get 到以下知识：Flink 常见的一些维表关联的案例常见的维表方案及每种方案适用场景，优缺点案例：broadcast 实现维表或配置的实时更新一、案例分析维表服务在 ...
基于开源的flink对其实时sql进行扩展；主要实现了流与维表的join
08-08
基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join
Flink SQL 优化实战 - 维表 JOIN 优化
cloudbigdata的博客
05-27 6938
从源码层面分析维表 Join 原理及调优方案
滴滴基于 Flink 的实时数仓建设实践
数据库技术
09-04 538
随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1.实时数仓建设目的 随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。 其次从智能商业的角度来讲，数据的结果代表了用户的反馈，
Flink从入门到精通100篇（九）-滴滴是如何在 Flink平台建立 实时数仓的？
wenyusuran的专栏
09-02 1180
随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1.实时数仓建设目的 随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。 其次从智能商业的角度来讲，数据的结果...
【flink理论】动态表：关系查询处理流的思路：连续查询、状态维护；表转换为流需要编码编码
hiliang521的博客
11-15 684
主要讲了： flink维护一个动态表来处理不断变化的流查询，这需要维护状态。 动态表转换为流或输出时需要进行流的编码
Flink动态表的连续查询（Continuous Queries on Dynamic Tables）
javawins的专栏
01-25 762
Apache Flink 非常适用于流分析应用程序，因为它支持事件时间语义，确保只处理一次，以及同时实现了高吞吐量和低延迟。因为这些特性，Flink 能够近实时对大量的输入数据计算出一个确定和精确的结果，并且在发生故障的时候提供一次性语义。 Flink 的核心流处理 API，DataStream API，非常具有表现力，并且为许多常见操作提供了原语。在其他特性中，它提供了高度可定制的窗口逻辑，不...
FlinkSQL hbase连接器读取数据失败问题
TreeCode的博客
08-17 999
sql： tEnv.executeSql("DROP TABLE IF EXISTS ywb_source"); tEnv.executeSql( "CREATE TABLE ywb_source (\n" + " rowkey STRING,\n" + " info1 ROW<name STRING>,\n" +
【FLINK】实时流读取维表（二）Async I/O
Zsigner的博客
01-18 658
1、aysnc i/o 的设计 The following diagram illustrates how the streaming records are processed while arriving at AsyncWaitOperator recovering from task failover snapshotting state being emitted by Emitter Thread 来源：FLIP-12: Asynchronous I/O Design and Imp
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
zhengzaifeidelushang的博客
12-31 2982
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
flink-sql消费kafka实时关联hbase获取维度信息
weixin_43803793的博客
11-09 2076
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); // env.setParallelism(1); // 1、创建表执行环节 StreamTableEnvironment tableEnv = St..
flink 实时查数据库引发的异常
anita9999的博客
12-12 2283
1.flink实时从kafka接收数据，插入mysql ,引用 HikariDataSource dataSource=BaseConf.baseMysqlDs(); Connection connection=HikariCpPool.getConnect(dataSource); 没有关闭数据库连接，插入一万条数据，创建一万条连接，造成mysql连接数过多，数据库异常 ...
Flink之异步I/O案例（二）异步查询MySQL数据库
IT_但丁的博客
03-12 2546
文章目录一、需求思考1、通过异步查询Mysql中的以下数据：2、思考二、代码实现1、添加依赖2、主线代码3、异步查询的MySql的Function四、技术点 一、需求思考 1、通过异步查询Mysql中的以下数据： 2、思考 Mysql不支持异步查询，那该怎么办呢？ 创建线程池和数据库连接池，来实现异步的并发查询。 这样异步查询中，一个请求就是一个线程，一个请求对应一个连接。 二、代码实现 1...
Flink_SQL关联维表
qq_44426756的博客
06-18 965
package com.ygy.gmall.realtime.test3; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class Flink_SQL_join { public static void main(String[] ar
掌握Flink 1.8 实现实时数仓项目与Flink SQL
资源摘要信息: "Flink1.8实时数仓项目实战视频教程" 知识点: 1. Flink概述 Flink是一个开源的流处理框架，用于在高吞吐量和低延迟的情况下进行有状态的计算。Flink1.8版本是稳定版本中的一个，它支持流处理和...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值