Flink实时数仓实现方案

最新推荐文章于 2024-11-05 15:56:39 发布
最新推荐文章于 2024-11-05 15:56:39 发布
阅读量2.2k 收藏 5
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/106481262
版权
本文探讨了三种主流的数仓架构：lambda、kappa和实时OLAP变体。lambda架构存在运维成本高和资源占用大的问题；kappa架构在业务变更时需重写代码并管理消息队列；实时OLAP变体则利用Flink进行轻度聚合，配合OLAP引擎灵活应对业务需求。文章还对这些架构进行了对比分析。
摘要由CSDN通过智能技术生成

先介绍一下集中主流的数仓架构

- lambda

在这里插入图片描述
缺点：有离线和实时两套代码，运维和开发成本高。对资源的占用高。

- kappa

在这里插入图片描述
缺点：业务变更时，需要重新编写代码。并且保证消息队列中的消息存放一定的时间。新启动一个任务，从某个历史时间消费消息队列中的数据，直到新任务消费消息的偏移量和旧任务消费齐平的时候。就可以停掉旧任务。旧任务产生的结果表就可以删除。

- 实时OLAP变体

在这里插入图片描述
他和kappa架构不同的是，只需要用flink做轻度的聚合，使用OLAP引擎来应对各种业务需求。

  • 三种架构的对比
  • 在这里插入图片描述
    持续更新。。。
大数据FLINK实时数仓项目实战
悦分享
10-06 7540
普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 原始数据，日志和业务数据 。根据数据对象为单位进行分流，比如订单、页面访问等等。维度数据。对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。根据某个主题将
Flink实时数仓同步：快照表实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
02-02 1708
在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。 一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：
实时数仓入门训练营：实时计算 Flink 版 SQL 实践
阿里云云栖号
07-15 1459
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 本文整理自直播《实时计算 Flink 版 SQL 实践-李麟（海豹）》 视频链接:https://c.tb.cn/F3.0dBssY 内容简.
搭建数据仓库第02篇：数据仓库技术架构解决方案
baiba7240的博客
11-11 275
上一篇开了个头，从Kimball数据仓库生命周期方法角度，列出了数据仓库搭建的核心步骤，从这一篇开始将讲述技术路径：技术架构设计和产品选择和安装。 首先先以某公司的数据仓库的总体架构图的视角，了解整个数据仓库搭建起来后结构大体的样子。 最底层是数据源，一般是在线的数据库或者是文件系统。对于在线数据库，一般是操作型数据库，比如mysql,oracle等，一般是存在主库和从...
Flink实现实时数据处理
最新发布
qq_41081716的博客
11-05 553
代码如下： 展示了一个使用 Apache Flink 进行实时数据处理的例子，该例子从 Kafka 消费数据，对博客文章的浏览量进行统计，并将结果写回到另一个 Kafka 主题。以下是对你提供的代码的一些解释和建议：初始化执行环境：配置 Kafka 连接器：定义 Source 和 Sink 表：SQL 查询：启动任务：
03Flink实时数仓（尚硅谷）- DWM 层业务实现
qq_24095055的博客
07-22 1256
03Flink实时数仓（尚硅谷）- DWM 层业务实现
【Flink】基于Flink构建全场景实时数仓
菜鸟叔叔的博客
06-12 3900
虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：早期实时计算如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据源，后面进行清洗、过滤、扩维等操作，都要重复做一遍，唯一不同的是业务的代码逻辑是不一样的。随着产品和业务人员对实时数据需求的不断增多
分享一个实时数仓系统--SnappyData的博客与中文社区
lmalds的专栏
04-23 6432
分享一个实时OLAP系统–SnappyData的博客与中文社区 SnappyData中文博客 SnappyData中文社区
Flink实时数仓落地方案
Monstar_L的博客
03-23 2821
实时数仓架构图： 说明： 数据采集层：原始数据目前分三种，由中台生成的埋点日志用于主流，RDBMS则是获取业务库表，通常用于维表关系所需，binlog日志通过cdc方式进入kafka进行消费，用于大维表的增量更新。 数据计算层：数据计算层的计算引擎是Flink，通过较上层的FlinkSQL实现数据的ETL加工，其中HDFS作用于大维表初始化到Hbase过程所用，再通过Flinksql消费binlog日志进行增量更新。 数据共享层：通过Flinksql对主流表进行打宽后输出到dw层kafka为最终
Flink实时数仓同步：流水表实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
02-02 1551
在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。 一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。
Flink实时数仓
黑冰[̲̅V̲̅I̲̅P̅]
05-21 938
Flink实时数仓
阿里云PB级实时数仓AnalyticDB通用解决方案解析一.pptx
08-29
大数据上云特惠活动系列直播的阿里云PB级实时数仓AnalyticDB通用解决方案解析（一）的PPT
基于 Flink 的典型 ETL 场景实现-实时数仓篇.pdf
06-19
实时数仓实践
数仓项目实施方案具体细节.rar
06-21
数据仓库开发阶段真实项目，完整项目实施，包括项目分析，如何实现
实时数仓的设计与实现
weixin_38168703的博客
12-16 2490
实时数仓的设计与实现 所需组件： 数据源：Mysql、MongoDB、Log日志 采集工具：Canal、Mongoshake、FileBeat、Flume 消息队列：Kafka 数据库：Kudu 计算引擎：Flink 查询引擎：Impala 查询UI：Hue 数仓分层： ODS层：存储未加工过的原数据。包括 ...
【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述
书山有路，学海无涯。记录成长，追逐梦想
09-18 3325
数据仓库的概念可以追溯到 20 世纪 80 年代，当时 IBM 的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。
自己实时数仓实现思路
张小小凡
06-04 255
2.负责直播质量监控模块：实时统计音频视频丢帧数量、人均卡顿次数、卡顿前10区域等、实时举报监控报警 3.负责直播流量模块：实时UV，实时在线总人数、各直播间总人数、各分类在线人数、实时热门直播间、 各分类热门直播间等 4.负责交易模块：实时购买礼物总交易额、各礼物购买金额、实时打赏总交易额、各类目打赏总交易额、实时各主播被打赏交易额top10等 实时举报监控报警：消费报警日志，使用滑动窗口，没10s检测一分钟之内的直播间投诉量。 ...
大数据项目之Flink实时数仓(数据采集/ODS层)
wenqi
01-25 8421
高价值实战项目 Flink实时数仓+实时大屏搭建！
构建实时数据仓库：流式处理与实时计算技术解析
oOBubbleX的博客
08-14 1579
现在大数据应用比较火爆的领域，比如推荐系统在实践之初受技术所限，可能要一分钟、一小时、甚至更久才能对用户进行推荐，这远远不能满足需要，我们需要更快的完成对数据的处理，而不是进行离线的批处理。Lambda架构经历多年的发展，其优点是稳定，对于实时计算部分的计算成本可控，批量处理可以用晚上的时间来整体批量计算，这样把实时计算和离线计算高峰分开，这种架构支撑了数据行业的早期发展，但是它也有一些致命缺点，并在当今时代越来越不适应数据分析业务的需求。所以在传统数据仓库的基础上，逐渐对数据的实时性提出了更高的要求。
网易云音乐Flink实时数仓建设与实践
在本次分享中，网易云音乐的技术团队详细介绍了他们如何基于Apache Flink构建实时数仓，并分享了相关的实践经验和解决方案。该实践内容涵盖从背景介绍、实时数仓建设到具体的实时数仓实践等多个方面。 首先，背景...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值