【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用

于 2024-05-03 18:52:08 发布
阅读量375 收藏 4
点赞数 3
分类专栏： 程序员 文章标签： flink 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84185585/article/details/138421957
版权
本文介绍了如何使用Flink构建实时数仓体系，重点讨论了状态复用在SQL修改、checkpoint恢复和用户状态管理中的问题，提出了两种解决方案，并推荐了一套系统化的学习资源。
摘要由CSDN通过智能技术生成

一、浅谈实时数仓

整理自：【实时数仓篇】利用 Flink 实现实时状态复用场景
讲师：李晨（菜鸟 数据工程师）

1.1 实时数仓体系

在这里插入图片描述
在这里插入图片描述

1.2 实时 & 离线

在这里插入图片描述
TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。

架构的亮点：connector 实现了离线计算的数据和实时计算的互通。

二、状态复用场景

2.1 问题

在这里插入图片描述
在这里插入图片描述
问题

最低0.47元/天 解锁文章
2401_84185585
关注
专栏目录
【Flink】基于Flink构建全场景实时数仓
菜鸟叔叔的博客
06-12 3745
虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：早期实时计算如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据源，后面进行清洗、过滤、扩维等操作，都要重复做一遍，唯一不同的是业务的代码逻辑是不一样的。随着产品和业务人员对实时数据需求的不断增多
Flink 实时数仓-思考与总结
qq_31866793的博客
02-12 7458
1，什么是Flink实时数仓。 大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。 实时数仓大家可以理解为数据都存储在kafka，Flink消费kafka的数据然后进行逻辑处理，然后再下发到kafka，这么延迟是秒或者分钟级别的，对于不同的业务效果更好，更实时。 2，为什么要做实时数仓呢？ 我的理...
大数据项目之Flink实时数仓(数据采集/ODS层)
wenqi
01-25 8281
高价值实战项目 Flink实时数仓+实时大屏搭建！
Flink 实时数仓（一）【实时数仓&离线数仓对比】
功不唐捐，玉汝于成
04-24 3229
实时数仓和离线数仓的对比
实时数仓入门训练营：实时计算 Flink 版 SQL 实践
阿里云云栖号
07-15 1270
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 本文整理自直播《实时计算 Flink 版 SQL 实践-李麟（海豹）》 视频链接:https://c.tb.cn/F3.0dBssY 内容简.
大数据技术之ClickHouse
用生命研发技术
09-06 1584
wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-dbg-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-server-21.8.3.44.tgz wge
实时数仓-Flink使用总结
weixin_43805705的博客
11-13 1060
阿里云实时计算Flink版是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。本期将对Flink的使用进行总结。
【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用(3)
最新发布
2401_84181070的博客
04-28 369
我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句。
Doris实战——结合Flink构建极速易用的实时数仓_flink doris
2301_82243558的博客
04-27 964
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。
Flink实时数仓 | 美团点评实战
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 514
来源: Apache FlinkCommunity China 作者:黄伟伦 声明: 本文中所有技术文档版权归作者本人及Flink中文社区所有，严禁商用！ By大数据技术与架构 场景描述：本文介绍了美团点评使用Flink建设实时数据仓库的经验。 关键词：Flink 实时数仓 ...
Flink 实时数仓 (一) --------- 数据采集层
在森林里麋了鹿
04-22 3861
Flink 实时数仓数据采集层
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
03-11 2874
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
flink实时数仓项目(一）
xingdianp的博客
11-26 292
实时数仓的整体架构
Flink实时数仓
黑冰[̲̅V̲̅I̲̅P̅]
05-21 850
Flink实时数仓
基于 Flink 的实时数仓生产实践
Ververica的博客
11-15 2572
数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助...
大数据项目之Flink实时数仓(DWM层)
wenqi
02-03 2333
设计思路 之前通过分流等处理手段，将数据拆分成了独立的kafka topic，接下来处理数据，我们应该考虑的是将实时计算使用的指标项进行处理，时效性是实时数仓所追求的，所以在一些场景没有必要和离线数仓一样，大而全的中间层，只需要中间层将一些计算指标保存即可，为下次计算使用提供便利。 所以需要考虑一些实时计算的指标需求，把这些指标以主题宽表的形式输出就是dws层 这里列出来一部分指标，主要为服务可视化大屏计算，说了这么多，dwm层怎么还没出现，别急，dwm层主要服务dws层，因为部分需求直接从dwd层到dws
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践
jmx_bigdata的博客
08-16 1667
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到： 实时数仓的基本架构 实时数仓的数据处理流程 Flink1.11的SQL新特性 Flink1.11存在的bug 完整的操作案例 古人学问无遗力，
美团实时数仓建设：Flink在实时数据仓库中的实践
"美团基于Flink的实时数仓建设实践" 在当今的数字化时代，企业对数据服务的实时性有着越来越高的需求。美团通过实践，采用Apache Flink作为核心引擎，构建了一套高效的实时数仓解决方案，以应对不断增长的实时数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值