大数据流批一体化架构设计

已于 2022-10-07 20:22:09 修改
阅读量2.5k 收藏 4
点赞数
分类专栏： Hadoop Hive Spark 大数据安全 文章标签： 数据库 大数据
于 2022-10-07 20:21:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35029061/article/details/127198478
版权
本文分析了当前数据处理痛点，提出流批一体化架构方案，包括流计算+交互式分析双引擎架构，以及流批一体数据处理体系的整体架构，涵盖接入层、存储层、计算层和应用层。通过数据模型分层，简化数据仓库结构，实现高效实时和离线分析。Flink、Kafka、ClickHouse、Hbase等技术在方案中得到应用。
摘要由CSDN通过智能技术生成

一、当前数据处理待痛点分析

  • 1、当前生产环境因source端数据更改，导致后续计算重新运行情况时有发生，这样不仅牵扯开发精力而且十分消耗资源。
  • 2、现有的数据处理方式不能更好的面向未来日益增多的需求。
  • 3、业务线数据模型混乱，数据使用成本特别高。
  • 4、需求驱动的烟囱式开发，完全没有复用的可能性，计算成本居高不下。
  • 5、分析计算后的数据下沉到Mysql中，查询和保障方面不灵活。

二、流批一体化架构方案

1、流批一体化架构方案分析

目前流批一体化架构比较完美的实现方式是采用流计算+交互式分析双引擎架构，在这个架构中，流计算负责的是基础数据，而交互式分析引擎是中心，流计算引擎对数据进行实时ETL工作，与离线相比，降低了E

了解本专栏 订阅专栏 解锁全文 超级会员免费看
wespten
关注
专栏目录
订阅专栏
Flink 流批一体的技术架构以及在阿里 的实践.pdf
10-24
Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标，包括流计算，批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中，我们使用了 SQL 作为流批一体的统一入口，并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值，在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化，在支持实际业务上碰到了哪些问题，我们又是怎么解决的。
数据仓库、数据湖、流批一体，终于有大神讲清楚了！
aliyunhologres的博客
05-14 8436
数据仓库、数据湖、流批一体，终于有大神讲清楚了！ 作者： 蒋晓伟（量仔） 阿里云研究员 金晓军(仙隐) 阿里云高级技术专家 摘要：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？ 一、业务背景 1.1 典型实时业务场景 首先我们来看一个典型的实时业务场景，这个场景也是绝大部分实时计算用户的业务场景，整个
什么是流批一体？怎样理解流批一体？
最新发布
oOBubbleX的博客
08-12 1318
它包含了计算语义、编程模型、API、调度、执行、shuffle等各个方面的统一，不过对于我们数据开发的同学来说，我认为流批一体最终想要达到的效果可以这样描述：给定确定的数据源（可以是物理的也可以是逻辑上的），编写一套代码（Java代码或SQL），执行引擎能够根据需要（例如根据用户配置“STREAMING/BATCH”或自动识别）将代码转换为流任务（增量地读取、流式地处理）或批任务（全量地读取、批式地处理），并输出相同的结果。流批一体的数据传输方式是一种融合了批处理和实时流处理的高效灵活的数据传输方式。
流批一体架构
黑曼巴
07-15 362
待完善
Flink + Iceberg打造流批一体的数据湖架构
.
03-10 4962
对于数据湖架构来说，数据文件在HDFS的分布组织是由写入任务决定的，而对于分布式数仓来说，数据一般是通过JDBC写入，数据的存储组织方式是由数仓本身决定的，所以数仓可以按照对于查询更加友好的方式组织数据的存储，比如对数据文件定期compact到合适的大小或者对数据进行合理排序和分组，对于大规模的数据来说，数据的优化组织可以大大提高查询的效率。在这里需要做一个概念上的澄清：数据湖关注的是对原始数据高效、灵活的处理，DWD 及其他数仓分层是充分设计的数据模型，它并不符合我们对数据湖的定义和需求。
从0到1搭建电商营销数据分析平台(五)——流批一体架构
su_bao的博客
03-18 836
欢迎关注公众号——《数据三分钟》 一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。 ​ 传统的LAMDA架构取得了辉煌的成就，大大小小的公司几乎都以LAMDA为模版构建了自己的数据仓库，但是LAMDA架构的缺陷也一直被数据人诟病——由于实时链路和离线链路采用不同的计算引擎，在数据研发的过程中，不得不开发、维护两套代码，不仅开发成本高，而且得时刻保持口径的一致，不然就会造成严重的数据质量问题。在传统的LAMDA架构中，实时与离...
基于流批一体架构的埋点系统的设计与实现
07-20
### 基于流批一体架构的埋点系统设计与实现 #### 一、引言 随着大数据时代的到来，数据成为驱动企业发展的重要因素之一。在众多数据来源中，用户行为数据尤为关键，它能够帮助企业更好地理解用户需求、优化产品...
DLink 流批一体技术架构及优势 | 滴普科技FastData系列解读
Deepexi_Date的博客
12-07 4542
一、引言 在上期的两篇连载文章中，我们分析了Lambda 和 Kappa 架构固有的一些问题，同时也引出了流批一体架构的优势，本文就 FastData流批一体大数据平台DLink ，如何基于 Flink + Iceberg 流批一体技术及其实践进行初步探讨。 二、需求背景 传统的基于离线（比如 Hive）数仓有很高的成熟度和稳定性，但在一些时延要求比较高的场景，则需要借助实时数仓 Flink 的帮助，将延时降低到秒级（或分钟级），但两套并存的数仓架构，势必带来双倍的资源消耗和开发维护工作量。那么，是否存在.
数智学习 | 流批一体实时数仓建设路径探索
Dtwave_的博客
06-10 965
在实时数仓建设过程中，“流批一体”技术理念被业界广泛认可，并在多个业务场景中成功验证，逐渐走向落地。
Flink（11）：Flink之流批一体架构
yang_shibiao的博客
07-10 3427
目录 0. 相关文章链接 1. 数据的时效性 2. 流处理和批处理 3. 流批一体API 3.1.DataStream API 支持批执行模式 3.2. API 3.2. 编程模型 0. 相关文章链接 1. 数据的时效性 日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。 如果我们处理以年，月为单位的级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有...
大数据批流一体框架
qq_35884447的博客
08-20 506
大数据批流一体架构 黄大先生 创业者 游弋大数据+人工智能 这个是阿里的架构，flink能取的巨大的成功离不开阿里的贡献，其实flink本身就支持批处理和流式计算了，只是他本身只是个计算引擎，不做存储，所以就引入了hive数仓 用flink和hive实现了批流一体的架构。 具备实时流数据和离线数据的接入和分析能力。 支持kafka，socket等数据源 批流一体就是同时支持离线计算和实时计算 并且流数据可以和离线的批数据进行碰撞分析 针对离线数据，数据是离线数据，计算方式是批处理。对
流批一体生产应用！Bigo 实时计算平台建设实践
Ververica的博客
02-22 409
摘要：本文由Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括：Bigo 实时计算平台的发展历程特色与改进业务场景效率提升总结展望Tips：点击文...
十、批流一体流程化大数据架构设计
07-25 359
在当代信息社会中，数据的处理和分析已经成为了一个重要的议题，大量的数据处理需求推动了数据处理技术不断的发展，出现了很多解决海量数据处理的软件方案。4、处理过程全流程化开发：将数据开发处理的各个过程，包括数据同步、提取、清洗、转换、脱敏、执行、入库等，均定义成可配置的流程节点，各节点之间有序连接构成一个可执行的工作流，实现从数据获取到数据输出的整个过程的全流程化。4、开发难以协作维护成本高：传统的模块化开发，将系统按模块划分，不同的模块被不同的开发人员负责，导致模块之间的协作和协同开发变得复杂。
大数据架构-流批一体发展演进
数字化时代下，新IT人的转型之路
03-14 955
大数据与现有的科技手段结合，对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业，在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战？目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 关键词：持续聚合、分析时序数据 现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器
流批一体架构在快手的实践和思考
Ververica的博客
02-16 566
快手技术专家、Apache Flink & Apache Calcite Committer 张静，在 FFA 流批一体专场的分享。
大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
Shockang的博客
07-27 1万+
面对海量异构数据,如何设计高效可靠的大数据处理架构?本文全方位解析大数据处理的典型架构模式。 想知道兼具低延迟和批处理能力的Lambda架构和Kappa架构有何区别?简单高效的流批一体架构如何实现?灵活的Dataflow数据流模型的原理是什么?实时数仓如何做到毫秒级分析? 本文通过详细的原理分析和业界案例,以八股文体系全面介绍各类大数据处理架构的模式、特点、适用场景,并对不同架构进行横向对比。 无论你是架构设计者,还是大数据开发者,本文都将提供思路清晰的理论指导,以及可落地的技术细节。
flink 流批一体
热门推荐
张伟的专栏
03-12 1万+
目录 当我们谈论批流一体，我们在谈论什么？ 一、流计算与批计算 一）流计算与批计算 二）流计算与批计算的比较 三）为什么要搞流批一体 二、流批一体的场景 一）数据集成的流批一体 二）数仓架构的流批一体 三）数据湖的流批一体 四）存储的流批一体 1.Pulsar 2.Hologres 1）Hologres的架构图 2）Hologres的流批一体 三、Flink中的流批一体 一）流批一体的DataStream 1.目前的
"2022大数据安全运维一体化解决方案优秀文档与成功案例分析
大数据安全运维一体化解决方案是在IT业务和产品服务多样化的背景下，为满足数据急剧增长的需求，提高处理效率而设计的方案。该解决方案包括安全大数据、应用大数据和监控大数据三个要点。 安全大数据是通过收集各类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wespten

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值