大数据架构设计理论与实践

已于 2023-10-28 10:16:12 修改
阅读量430 收藏 4
点赞数 2
分类专栏： # 系统架构师【案例分析】 文章标签： 大数据架构设计理论与实践 软考 系统架构师
于 2023-10-28 01:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50954361/article/details/134068634
版权

大数据架构设计理论与实践

大数据处理系统概述

传统数据处理系统存在的问题

大数据处理系统面临的挑战

大数据处理系统的属性/特征

典型的大数据架构

Lambda架构

Lambda定义

优缺点

应用场景

Lambda的体系结构( Batch Layer (批处理层)、Speed Layer (加速层)、Serving Layer(服务层) )

Kappa架构

Kappa的来源

Kappa的定义

Kappa的应用场景

Kappa的优缺点

常见kappa架构的变形架构

案例分析

某网在奥运转播中的大数据应用

某网广告平台的应用与演进

某证券公司大数据系统

某电商智能决策大数据系统

茶叶蛋xq
关注
专栏目录
系统架构设计师【第19章】: 大数据架构设计理论与实践 (核心总结)
数据知道的博客
06-04 7093
大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多 样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。
【系统架构师】-第19章-大数据架构设计理论与实践
宣晨光
03-13 1638
四个特点：大规模（Volume）、高速度（Velocity）和多样化（Variety），价值（Value）。因此大数据的特征可以整体概括为：“海量 + 多样化 + 快速处理 + 价值”。五个问题：异构性（Heterogeneity）、规模（Scale）、时间性（Timeliness）、复杂性（Complexity）和隐私性（Privacy）五个挑战：1. 挑战一：数据获取问题。2. 挑战二：数据结构问题。3. 挑战三：数据集成问题。4. 挑战四：数据分析、组织、抽取和建模等功能性挑战。
【系统架构设计师】二十五、大数据架构设计理论与实践①
帅次的博客
08-07 1141
Lambda 架构设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成 Hadoop、Kafka、Spark、Storm 等各类大数据组件。Lambda 是用于同时处理离线和实时数据的，可容错的，可扩展的分布式系统。它具备强鲁棒性，提供低延迟和持续更新。 Lambda架构应用场景：机器学习、物联网、流处理。
第19章 大数据架构设计理论与实践
辣香牛肉面的博客
06-16 1459
如图19-4所示，Lambda架构可分解为三层，即批处理层、加速层和服务层。(1)批处理层(Batch Layer)存储数据集，Batch Layer在数据集上预先计算查询函数，并构建查询所对应的View。Batch Layer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况，Speed Layer更为适合。(2)加速层(Speed Layer)Batch Layer处理的是全体数据集，而Speed Layer处理的是最近的增量数据流。
系统架构设计高级技能 · 大数据架构设计理论与实践
weixin_30197685的博客
08-26 2347
在某些复杂的案例中，其实时处理和离线处理的结果不能统一，比如某些机器学习的预测模型，需要先通过离线批处理得到训练模型，再交由实时流式处理进行验证测试，那么这种情况下，批处理层和流处理层不能进行合并，因此应该选择Lambda架构。（1）Kappa不是 Lambda的替代架构，而是其简化版本， Kappa放弃了对批处理的支持，更擅长业务本身为增量数据写入场景的分析需求，例如各种时序数据场景，天然存在时间窗口的概念，流式计算直接满足其实时计算和历史补偿任务需求；所有的批处理层、加速层和服务层都很容易扩展。
【系统架构设计师】二十五、大数据架构设计理论与实践③
帅次的博客
08-09 1293
大数据架构设计案例分析：Lambda架构在某网奥运中的大数据应用；Lambda架构在某网广告平台的应用与演进；某证券公司大数据系统；某电商智能决策大数据系统。
【系统架构设计师】二十五、大数据架构设计理论与实践②
帅次的博客
08-07 1860
Kappa 架构的原理就是：在Lambda 的基础上进行了优化，删除了 Batch Layer的架构，将数据通道以消息队列进行替代。因此对于Kappa 架构来说，依旧以流处理为主，但是数据却在数据湖层面进行了存储，当需要进行离线分析或者再次计算的时候，则将数据湖的数据再次经过消息队列重播一次则可。
系统架构设计师-第19章-大数据架构设计理论与实践-软考学习笔记_延展性,最少维护能力,大数据架构特征
2401_84166567的博客
04-27 584
Lambda 架构可分解为三层，即批处理层、加速层和服务层。Batch Layer 有两个核心功能: 存储数据集和生成Batch View.主数据集中的数据必须具有以下三个属性:( 1 ) 数据是原始的.( 2 ) 数据是不可变的.(3 ) 数据永远是真实的.( 1) Speed Layer 处理的数据是最近的增量数据流， Batch Layer 处理的全体数据集。
软考-系统架构设计师-大数据架构设计理论与实践-练习题3
Java程序员的知识博客
11-01 207
3. 某互联网公司近期为其旗下产品升级架构，架构图如图22.10所示，请指出该架构图采用的是什么架构，并结合架构图说明该架构的层次结构。图22.10。
大数据架构设计理论与实践学习笔记
09-29
大数据Lambda架构和Kappa架构理论概述
【软考】下篇 第19章 大数据架构设计理论与实践
罗小爬的技术宝书
05-28 761
(1) 批处理层 (Batch Layer): 存储数据集， Batch Layer在数据集上预先计算查询函数，并构建查询所对应的 View。Batch Layer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况， Speed Layer更为适合。(2) 加速层 (Speed Layer): Batch Layer处理的是全体数据集，而 Speed Layer处理的是最近的增量数据流。
系统架构设计师教程（十九）大数据架构设计理论与实践
赫凯的博客
01-28 1362
探讨了大数据架构设计理论与实践，分析了大数据系统设计的关键要素和常见架构。文章首先介绍了Lambda架构和Kappa架构，以及它们在处理大数据时的优势和局限性。Lambda架构将数据处理分为批处理和实时处理两层，适用于需要离线和实时数据处理相结合的场景。而Kappa架构则在同一层内进行实时处理和离线处理，更适用于实时性要求较高的场景。
软考高级架构师下篇-18大数据架构理论设计与实践
java后端开发的博客，不仅仅是后端开发
10-10 1295
专栏《软考高级架构设计师》更新了，不到一月了，再坚持看看学习啊，本章节是大数据架构设计理论与实践知识，祝大家逢考必过
3 GH7用（RH8字体大小显示不正常） 模型内套图框.gh
10-18
3 GH7用（RH8字体大小显示不正常） 模型内套图框.gh
PHP-030网盘系统资源文档共享网站毕业课程源码设计+论文资料
10-18
编号：330 随着计算机网络普及到我们的生活中，越来越多的人已经认识并切身感受到,单凭在学校图书馆自身的信息资源储量很难最大限度地满足广大学生读者的信息需求,随着21世纪网络技术的发展与应用,很多的网站进行资源的共享以及对接,实现资源共建共享提供了必要的技术条件,并且形成资源共享网站，并吸引更多的用户使用网站，同时进行资源的上传，是资源得到进一步的扩充，从而一个良性的循环使得可利用的资源越来越多。 本文采用PHP技术开发了基于Web的教育资源共享系统,并且对该系统的技术方案的选择、系统功能的设计和实现等进行了介绍。在这个系统中，采用的是php动态网页设计技术和mysql数据库，可以灵活的管理和发布各种资料信息。本系统共分6大功能模块:教育资源查询、用户的上传下载功能、教育资源添加、上传资源的分类管理以及其他管理。 1．会员的注册、添加、密码的修改； 2．会员的上传资料，下载资料，信息投诉，评论功能； 3．游客身份查询资料； 4．管理员添加信息资源、发布公告功能； 5．管理员对会员上传资料的审核功能； 6．管理员对资料的分类项目的管理和添加、修改功能；
记录一些与大型模型相关的知识和方法.zip
10-18
记录一些与大型模型相关的知识和方法
Kivy-2.0.0-cp38-cp38-win_amd64.whl
10-18
Kivy-2.0.0-cp38-cp38-win_amd64.whl
会员制医疗预约服务管理信息系统 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL.zip
最新发布
10-18
会员制医疗预约服务管理信息系统 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL 系统启动教程：https://www.bilibili.com/video/BV11ktveuE2d
一种基于多五人家写哦那个的应急通信系统研究
10-18
针对当前多旋翼系留无人机单基站的应急通信系统网络覆盖及通信质量严重依赖于基站布设选址和地形地貌等情况，基于现有系留无人机单站应急通信系统的网络架构， 通过引入机动灵活的无人机中继站，给出了一种多无人机协同的应急通信系统解决方案， 介绍了系统的组成结构和功能特点。从网络规划和中心基站选址、联合资源调度与切换等方面，对基于多无人机协同的应急通信系统进行了初步探讨
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶叶蛋xq

打赏有用的话还要工作干嘛

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值