大数据Lambda架构

• Lambda架构介绍

Lambda是用于同时处理离线和实时数据，可容错、可扩展的分布式系统架构。

有批处理层、加速层、服务层。

同时以流计算和批处理计算合并视图。

Lambda架构的批处理层采用不可变存储模型，不断地往主数据集后追加新的数据。

Lambda架构优缺点

优点：容错性好、查询灵活度高、易伸缩、易扩展。

(1)容错性好。Lambda架构为大数据系统提供了更友好的容错能力，一旦发生错误，我们可以修复算法或从头开始重新计算视图。

(2)查询灵活度高。批处理层允许针对任何数据进行临时查询。

松地扩大规模。

(4)易扩展。添加视图是容易的，只是给主数据集添加几个新的函数。

缺点：全场景覆盖，编码开销；离线训练益处不大；重新部署和迁移成本很高。

(1)全场景覆盖带来的编码开销。

(2)针对具体场景重新离线训练一遍益处不大。

(3)重新部署和迁移成本很高。