【架构】Kappa架构

一、回顾Lambda架构

【架构】Lambda架构_Sunny的专栏-CSDN博客

二、Kappa架构

通过回顾Lambda架构，了解到其有优点也有缺点，人们也划分成支持者和反对者两派。Kappa 架构是LinkedIn的Jay Kreps结合实际经验和个人体会，针对Lambda架构进行深度剖析，分析其优缺点并采用的替代方案。

2.1 Kappa架构诞生意义

Lambda 架构的一个很明显的问题是需要维护两套分别跑在批处理和实时计算系统上面的代码，而且这两套代码得产出一模一样的结果。

因此对于设计这类系统的人来讲，要面对的问题是：为什么我们不能改进流计算系统让它能处理这些问题？为什么不能让流系统来解决数据全量处理的问题？流计算天然的分布式特性注定其扩展性比较好，能否加大并发量来处理海量的历史数据？

基于种种问题的考虑，Jay Kreps提出了Kappa这种替代方案。Kappa架构简化了Lambda架构，Kappa架构系统删除了批处理系统的架构，要取代批处理，数据只需通过流式传输系统快速提供

2.2 Kappa架构实现

 那如何用流计算系统对全量数据进行重新计算，步骤如下：

1、用Kafka或类似的分布式队列保存数据，需要几天数据量就保存几天。

2、当需要全量计算时，重新起一个流计算实例，从头开始读取数据进行处理，并输出到一个结果存储中。

3、当新的实例完成后，停止老的流计算实例，并把老的一引起结果删除。

 一个典型的Kappa架构如下：

 三、总结

3.1 与Lambda相比

和Lambda架构相比，在Kappa架构下，只有在有必要的时候才会对历史数据进行重复计算，并且实时计算和批处理过程使用的是同一份代码。或许有些人会质疑流式处理对于历史数据的高吞吐量会力不从心，但是这可以通过控制新实例的并发数进行改善。

3.2 核心思想

Kappa架构的核心思想包括以下三点：

• 用Kafka或者类似的分布式队列系统保存数据，你需要几天的数据量就保存几天。
• 当需要全量重新计算时，重新起一个流计算实例，从头开始读取数据进行处理，并输出到一个新的结果存储中。
• 当新的实例做完后，停止老的流计算实例，并把老的一些结果删除。