系统架构设计师-第19章-大数据架构设计理论与实践-软考学习笔记_延展性,最少维护能力,大数据架构特征

7 . 最少维护能力( Minimal Maintenance )

8. 可调试性( Debuggable )

Lambda 架构

Lambda架构对大数据处理系统的理解

Lambda 是用于同时处理离线和实时数据的，可容错的，可扩展的分布式系统。它具备强鲁棒性，提供低延迟和持续更新。

Lambda架构应用场景

1. 机器学习中的Lambda 架构

2. 物联网的Lambda 架构

3. 流处理和Lambda 架构挑战

Lambda架构介绍

Lambda 架构可分解为三层，即批处理层、加速层和服务层。

Batch Layer 有两个核心功能: 存储数据集和生成Batch View.

主数据集中的数据必须具有以下三个属性:
( 1 ) 数据是原始的.
( 2 ) 数据是不可变的.
(3 ) 数据永远是真实的.

( 1) Speed Layer 处理的数据是最近的增量数据流， Batch Layer 处理的全体数据集。
(2) Speed Layer 为了效率，接收到新数据时不断更新Realtime View，而Batch Layer 根据全体离线数据集直接得到Batch View 。

Lambda 架构将数据处理分解为Batch Layer 和Speed Layer 有如下优点:
· 容错性。
· 复杂性隔离。
· Scalable (横向扩容) :当数据量/负载增大时，可扩展性的系统通过增加更多的机器资源来维持性能。

Lambda架构的实现

Lambda架构优缺点

1. 优点
   (1)容错性好。Lambda 架构为大数据系统提供了更友好的容锚能力，一旦发生错误，我们可以修复算法或从头开始重新计算视图。
   (2) 查询灵活度高。批处理层允许针对任何数据进行临时查询。
   (3)易伸缩。所有的批处理层、加速层和服务层都很容易扩展。因为它们都是完全分布式的系统，我们可以通过增加新机器来轻松地扩大规模。
   ( 4 ) 易扩展。添加视图是容易的，只是给主数据集添加几个新的函数。
   2 . 缺点
   (1)全场景覆盖带来的编码开销。
   (2) 针对具体场景重新离线训练一遍益处不大。
   (3)重新部署和迁移成本很高。

Lambda与其他架构模式对比

事件溯源( Event Sourcing )与Lambda 架构

CQRS 与Lambda 架构

Kappa 架构

Kappa架构下对大数据处理系统的理解

数据的特性

数据的存储

Kappa架构介绍

Kappa 架构的原理就是:在Lambda 的基础上进行了优化，删除了Batch Layer 的架构，将数据通道以消息队列进行替代。

从使用场景上来看， Kappa 架构与Lambda 相比，主要有两点区别:
( 1) Kappa 不是Lambda 的替代架构，而是其简化版本， Kappa 放弃f 对批处理的支持，更擅长业务本身为增量数据可入场景的分析需求，例如各种时序数据场景， 天然在在时间窗口的概念，流式计算直接满足其实时计算和历史补偿任务需求:
(2) Lambda 直接支持批处理，因此更适合对历史数据分析查询的场景，比如数据分析师需要按任意条件组合对历史数据进行探索性的分析，并且有一定的实时性;后求，期望尽快得到分析结果，批处理可以更1’[接高效地满足这些需求。

Kappa架构的实现

Kappa架构的优缺点

而Kappa 的缺点也很明显:
(1) 消息中间件缓存的数据量和回溯数据有性能瓶颈。
(2) 在实时数据处理时，遇到大量不同的实时流进行关联时，非常依赖实时计算系统的能力， 很可能因为数据流先后顺序问题，导致数据丢失。
(3) Kappa 在抛弃了离线数据处理模块的时候，同时抛弃f 离线计算更加稳定可靠的特点。

常见Kappa架构变形

Kappa+ 架构

混合分析系统的Kappa 架构

Lambda 架构与Kappa 架构的对比和设计选择

Lambda架构与Kappa架构的特性对比

Lambda架构与Kappa架构的设计选择

根据两种架构对比分析，将业务需求、技术要求、系统复杂度、开发维护成本和历史数据处理能力作为选择考虑因素。

大数据架构设计案例分析

Lambda架构任某网奥运中的大数据应用

Lambda架构在某网广告平台的应用与演进

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！