2020-09-25【学习笔记】【企业数据湖】三、Lambda架构：一种数据湖实现模式（3）

七、Lambda架构的劣势

由于包含不同的层，Lambda架构被认为是复杂的。

由于批处理层和快速处理层都是分布的，且实现机制不同，维护和支持起来相当 困难

要构架基于Lambda架构的数据湖，必须掌握大量的技术

用开源的技术来实现Lambda架构并部署在云环境中并不容易

Lambda所用到的组件还都不太成熟，还在快速的迭代当中

持续集成/持续交付成为了一种平常的要求，但是Lambda中持续集成/.持续交付的工具也不成熟

系统假设可能需要大量的硬件组件

相同的工作要实现两次，批处理一次，流处理一次

八、Lambda架构技术概览

后续会有详细的讲解

九、应用Lambda

1、企业级日志分析

2、获取和分析传感器数据

3、电子邮件平台实时统计

4、实时赛事分析

5、推荐引擎

6、安全威胁分析

7、多渠道用户行为分析

十、Lambda架构运行范例

Twitter：用改良的Lambda架构用于推文的情感分析

Groupon：多类企业的应用

Crashlytics：使用Lambda架构的批处理层和快速处理层进行有效的移动端数据分析。产生有意义的分析结论。

十一、Kappa架构

Kappa是一个简化版的Lambda架构。放弃了批处理层，全部由流处理层来负责计算。主要解决了Lambda逻辑运算需要写两次的烦恼。