本文详细介绍了Lambda架构，由Twitter工程师Nathan Marz提出，用于结合实时数据和Hadoop预先计算的数据，提供实时数据视图。文章重点阐述了分层架构，包括批处理层、实时处理层和服务层的职责，以及各层的关键组件和工作原理。此外，还讨论了Lambda架构在推荐系统中的应用，如何利用批处理和实时处理层生成和更新用户画像，以实现精准推荐。
# 1.Lambda介绍：
提出者：Twitter工程师Nathan Marz提出，同时是Storm项目发起人
Lambda作用：Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境下的混合平台，以提供一个实时的数据视图
# 2.分层架构
架构图如下：
##### 1.批处理层
概述：离线处理数据，服务层会根据批处理层生成批处理视图，接着通过前端的交互式工具进行查询模型构建的视图（批处理层可以通过数据仓库建模的方式来将数据进行可视化建模，例如构建用户画像）
**特点：**
1.数据不可变（hdfs的特点，只可追加不可修改）
2.可进行任何计算：
1.可以有任何类型的输入和输出，并且在中间的转换过程中可以分成灵活的定制和配置
2.例如一个MapReduce种你可以实现多个MapReduce作业，或者一个MapReduce中可以实现多个map或者多个reduce，reduce之后再map，把作业串接起来，形成一整个工作流来进行复杂的作业
订阅专栏 解锁全文
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
