Lambda架构与Kappa架构的特性对比

        一个大数据系统架构的设计思想很大程度上受到当时技术条件和思维模式的限制。Lambda架构将批处理层和速度层分为两层,分别进行离线数据处理和实时数据处理,这样设计的根本原因在于,Lambda提出的初期是在公司中进行小范围的业务运用,当时并没有思考有没有一个计算引擎能够在可接受的延迟条件下既进行离线数据处理又进行实时数据处理。在这样的前提下,将现有的成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合,用View模型将二者处理数据后得到的输出结果结合起来,在服务层(Serving Layer)中进行统一,开放给上层服务,是相当可行且高效的设计方式。

        Kappa架构作者对流处理系统有丰富的理论知识和使用经验,是Apache Kafka和Apache Samza等知名开源处理系统的作者之一。基于对流式计算深入的理解,Kappa架构在同一层次内进行实时处理和离线处理,在满足延迟要求的流式计算技术成熟的前提,比Lambda更优秀。表1从多个维度对Lambda架构和Kappa架构进行了对比分析。

表1 Lambda架构和Kappa架构对比
对比内容Lambda架构Kappa架构
复杂度与开发、维护成本需要维护两套系统(引擎),复杂度高,开发、维护成本高只需要维护一套系统(引擎),复杂度低,开发、维护成本低
计算开销需要一直运行批处理和实时计算,计算开销大必要时进行全量计算,计算开销相对较小
实时性满足实时性满足实时性
历史数据处理能力批式全量处理,吞吐量大,历史数据处理能力强流式全量处理,吞吐量相对较低,历史数据处理能力相对较弱

  • 24
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值