推荐系统4:Lambda架构

最新推荐文章于 2024-04-27 12:08:25 发布

曾牛

最新推荐文章于 2024-04-27 12:08:25 发布

阅读量186

点赞数

分类专栏：推荐系统从入门到深入

本文链接：https://blog.csdn.net/qq_28286027/article/details/103937014

版权

推荐系统从入门到深入专栏收录该内容

31 篇文章 77 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍了Lambda架构，由Twitter工程师Nathan Marz提出，用于实时数据与Hadoop批处理数据的结合。文章详细阐述了分层架构，包括批处理层、实时处理层和服务层。批处理层使用HDFS、HBase、Hive等存储和处理数据，实时层通过Storm或SparkStreaming处理实时数据，服务层则整合两者数据进行展示。Lambda架构在推荐系统中，批处理层负责模型构建，实时层实时采集用户行为并推荐。

摘要由CSDN通过智能技术生成

# 1.Lambda介绍：
提出者：Twitter工程师Nathan Marz提出，同时是Storm项目发起人
Lambda作用：Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境下的混合平台，以提供一个实时的数据视图
# 2.分层架构
架构图如下：
![](https://upload-images.jianshu.io/upload_images/18154391-a6962092b0ab7eb5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

##### 1.批处理层
概述：离线处理数据，服务层会根据批处理层生成批处理视图，接着通过前端的交互式工具进行查询模型构建的视图（批处理层可以通过数据仓库建模的方式来将数据进行可视化建模，例如构建用户画像）
**特点：**
1.数据不可变（hdfs的特点，只可追加不可修改）
2.可进行任何计算：
1.可以有任何类型的输入和输出，并且在中间的转换过程中可以分成灵活的定制和配置
2.例如一个MapReduce种你可以实现多个MapReduce作业，或者一个MapReduce中可以实现多个map或者多个reduce，reduce之后再map，把作业串接起来，形成一整个工作流来进行复杂的作业

了解本专栏