推荐系统的设计

最新推荐文章于 2024-07-18 14:34:43 发布

王涛涛.

最新推荐文章于 2024-07-18 14:34:43 发布

阅读量1.3k

点赞数

文章标签：推荐系统 python

本文链接：https://blog.csdn.net/WangTaoTao_/article/details/104246505

版权

二、推荐系统的设计

1）推荐系统的要素

UI和UE（前端界面）
数据（Lambda架构）
业务知识
算法

2）推荐系统架构

推荐系统的整体架构
大数据Lambda架构
- Lambda架构是实时大数据处理框架
- Lambda架构将离线计算和实时计算整合，设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等
  - 离线计算：数据量大、对时间要求不高的处理
  - 实时计算：数据量小、考虑时效性的处理
- 分层架构
  - 批处理层
    - 数据不可变，可以进行任何计算，可水平扩展
    - 高延迟
    - 日志手机：Flume
    - 分布式存储：Hadoop
    - 分布式计算：Hadoop、Spark
    - 视图存储数据库
      - nosql(HBase/Cassandra)
      - Redis/memcache
      - MySQL
  - 实时处理层
    - 流式处理，持续计算
    - 存储和分析某个窗口期内的数据（热销排行）
    - 实时数据收集 flume & kafka
    - 实时数据分析 spark streaming/storm/flink
  - 服务层
    - 支持随机读
    - 需要在非常短的时间内返回结果
    - 读取批处理层和实时处理层结果并对归并
- Lambda架构图
推荐算法架构
- 召回
  
  就是从海量数据中选择少部分数据
  - 召回决定了最终推荐结果的上限
  - 常用算法：
    - 协同过滤
    - 基于内容
- 排序阶段
  
  对召回中的数据进行排序，得到少部分数据
  - 召回决定了推荐结果上限，排序逼近这个极限，决定了最终推荐结果
  - CTR预估(点击率预估 LR算法)估计用户是否会点击某个商品
- 策略调整