Lambda架构

1.背景

Q : 大数据系统的关键问题：如何实时地在任意大数据集上进行查询

A : 最简单的方法是，直接在全体数据集上运行查询函数得到结果，但是这种方法的计算代码太大，所以不现实。

2.为什么要用 Lambda Architecture

在大数据处理系统中，数据处理的可靠性和实时性是一对矛盾，往往不可兼得。可靠性是指在任何异常出现的情况下，数据处理都能够做到不重不丢，并且最终得到准确的结果。实时性是指数据从输入到处理完毕输出的时间间隔。一般来说，对于像Hadoop MapReduce这样的批处理系统来说，可靠性很高，而实时性很差；对于Storm这样的流式处理系统来说，则情况正好相反。那么，有没有办法使得数据处理系统即可以做到高可靠，又可以做到低延迟呢？Lambda Architecture就是这个问题的答案。

Lambda Architecture是为了满足如下需求：

• 系统故障或人为错误不丢数据
• 数据分析低延迟
• 系统具备线性扩展能力
• 系统中很容易增加新特性

Lambda Architecture由 batch layer 、speed layer、 serving layer组成。

在输入端集中接收数据，并拷贝数据，分别导入到batch layer和 speed layer。

3.组成

3.1 Batch Layer

• 这层的功能主要有两点：

1.存储数据集   
2.在数据集上预先计算查询函数，构建查询所对应的view

• Batch layer的职责是保证数据处理的准确性和可靠性。

• Batch layer首先把数据以其原始格式存储在HDFS上，以加强系统的可靠性。然后，利用Hadoop MapReduce作业对数据进行处理，并将结果保存起来（这种处理之后的数据称之为batch view）。Hadoop作业具有很好鲁棒性，在运行过程中出现各种异常时都不会损失数据。对于存储系统来说，这种批处理方式只需要随机读、追加写，不需要处理随机写、加锁、数据一致性等问题，因此大大简化了存储系统的设计。但是batch layer对数据处理的延迟是很大的，通常是几个小时到几天。

3.2 Speed Layer

• Speed layer的职责是满足所有实时性处理的需求。

• Speed layer通常基于Storm这样的流式计算平台，通过快速的增量式算法，以分钟级、秒级甚至毫秒级来读取、分析、保存数据。对于存储系统，由于需要支持持续的update操作，其设计要复杂的多。为了简化问题，通常使用划窗机制来保存一段时间的数据，划窗的时间一般和batch layer的数据处理一致。

• 流式处理往往使用内存计算，这意味着当出现异常（比如升级或工作节点异常）时，可能会导致数据的丢失或计算结果错误。然而，Lambda Architecture却不需要过多考虑这类问题，因为下一次batch layer的作业会再次处理所有数据并获得准确的结果。

3.3 Serving Layer

• Serving layer的职责是将speed layer输出数据merge到batch layer输出数据上，从而得到一份完整的输出数据，并保存到诸如HBASE这样的NoSQL数据库中，以服务于在线检索应用。在batch计算结果之上meger少量实时数据，其结果同完全使用batch计算相比，具有很好的近似性。

4.Lambda Architecture的收益

• 算法可以同时分析历史数据和短期实时数据，兼顾了准确性和实时性

• 向存储介质的随机写入大大减少了，提升了性能

• Batch Layer（在HDFS上）保存了原始数据，可以避免人为错误造成的数据损失

• 容错性。Speed Layer中处理的数据也不断写入Batch Layer，当Batch Layer中重新计算的数据集包含Speed Layer处理的数据集后，当前的Realtime View就可以丢弃，这意味着Speed Layer处理中引入的错误，在Batch Layer重新计算时都可以得到修正。

• 复杂性隔离。Batch Layer处理的是离线数据，可以很好的掌控。Speed Layer采用增量算法处理实时数据，复杂性比Batch Layer要高很多。通过分开Batch Layer和Speed Layer，把复杂性隔离到Speed Layer，可以很好的提高整个系统的鲁棒性和可靠性。

当然，获得这些收益也是有代价的。Batch layer和speed layer事实上做了重复的计算。从资源的角度看，Lambda architecture消耗了更多的资源。