2020-09-23【学习笔记】【企业数据湖】三、Lambda架构：一种数据湖实现模式（1）

一 、什么是Lambda架构

Lambda具有的要素：

• 一套模式和标准。Lambda机构定义了一套面向大数据应用的模式和准则 。更重要的是，它允许同时查询历史数据和实时增长的数据。并且获得期望的分析视图。
• 处理历史数据和实时数据
• 技术无关和通用性。Lambda架构是一种通用的模式，完全不依赖于任何技术，而且任何技术只要能满足需求，都可以在Lambda架构中应用。
• Lambda架构清楚的吧责任划分到不同的功能木块/层中。它按照层来划分职责，完美地遵循了设计模式中的关注点分离原则
• 领域无关。作为一种通用的模式，Lambda架构可以应用于不同的业务领域

二、Lambda架构简史

Nathan Marz创造了Lambda Achitecture 这个术语，用于描述一种通用的、可扩展的容错的数据模式。该模式是一种概念：通过使用两个重要组件来处理海量数据。分别是批处理和快速处理层。Nathan把他的发现和经验概括为Lambda架构。该架构需要满足一些重要的设计模式：

线性可扩展原则

容错原则

backtype：读取和更新

可扩展原则

三、Lambda架构的原则

1、容错原则

2、不可变数据原则

3、重新计算原则