推荐系统 (一): 推荐系统的架构

• 本文为《深度学习推荐系统》(王喆) 的读书笔记 (边读边记，希望能和大家共同进步！)

推荐系统的逻辑框架

• 推荐系统要处理的是 “人” 和 “信息” 的关系。这里的 “信息” ，在商品推荐中指的是 “商品信息”，在视频推荐中指的是 “视频信息 ”， 在新闻推荐中指的是 “新闻信息”，简而言之， 可统称为 “物品信息” 。 而从 “人” 的角度出发， 为了更可靠地推测出 “人” 的兴趣点， 推荐系统希望利用大量与 “人” 相关的信息， 包括历史行为、人口属性、关系网络等， 这些可统称为 “用户信息”。此外， 在具体的推荐场景中， 用户的最终选择一般会受时间、地点、用户的状态等一系列环境信息的影响， 可称为 “场景信息” 或 “上下文信息”
• 在获知 “用户信息” “物品信息” “场景信息” 的基础上， 推荐系统要处理的问题可以较形式化地定义为：对于用户 $U$ (user), 在特定场景 $C$ (context) 下， 针对海量的 “物品“ 信息，构建一个函数 $f(U,I,C)$, 预测用户对特定候选物品 $I$ (item) 的喜好程度， 再根据喜好程度对所有候选物品进行排序，生成推荐列表的问题
  

不同业务模式的公司定义的具体推荐系统优化目标不同， 例如，视频类公司更注重用户观看时长 (Deep Neural Networks for YouTube Recommendations)，电商类公司更注重用户的购买转化率 (Conversion Rate, CVR), 新闻类公司更注重用户的点击率， 等等。需要注意的是，设计推荐系统的最终目标是达成公司的商业目标、增加公司收益，这应是推荐工程师站在公司角度考虑问题的出发点

推荐系统的技术架构

• 在实际的推荐系统中，工程师需要将抽象的概念和模块具体化 、工程化。在 图 1-3 的基础上，工程师需要着重解决的问题有两类：
  • (1) 数据和信息相关的问题，即 “用户信息” “物品信息” “场景信息” 分别是什么？如何存储 、 更新和处理？
    • “数据和信息” 部分逐渐发展为推荐系统中融合了数据离线批处理、 实时流处理的数据流框架
  • (2) 推荐系统算法和模型相关的问题， 即推荐模型如何训练 、 如何预测 、 如何达成更好的推荐效果？
    • “算法和模型” 部分则进一步细化为推荐系统中集训练 (training)、评估 (evaluation) 、 部署 (deployment)、 线上推断 (online inference) 为一体的模型框架

推荐系统的数据部分

• 推荐系统的数据部分 (如图 1-4 中米黄色部分所示) 主要负责 “用户” “物品” “场景” 的信息收集与处理。 在得到原始的数据信息后，推荐系统的数据处理系统会将原始数据进一步加工， 加工后的数据出口主要有三个：
  • (1) 生成推荐模型所需的样本数据， 用于算法模型的训练和评估
  • (2) 生成推荐模型服务 (model serving) 所需的 “特征”， 用于推荐系统的线上推断
  • (3) 生成系统监控 、商业智能 (Business Intelligence, BI) 系统所需的统计型数据

---

负责数据收集与处理的三种平台

• “客户端及服务器端实时数据处理” “流处理平台准实时数据处理” “大数据平台离线数据处理”
  • 在实时性由强到弱递减的同时， 三种平台的海量数据处理能力则由弱到强。 因此， 一个成熟的推荐系统的数据流系统会将三者取长补短， 配合使用

推荐系统的模型部分

• 模型的结构一般由 “召回层” “排序层” “补充策略与算法层” 组成
  • “召回层” 一般利用高效的召回规则、 算法或简单的模型， 快快速地将待推荐物品的候选集从十万、百万量级的规模减小到几千甚至几百量级的规模，避免将全部候选物品直接输入深度学习模型造成的计箕资源浪费和预测延迟问题
  • “排序层“ 利用排序模型对初筛的候选集进行精排序 (推荐系统产生效果的重点，也是业界和学界研究的重心)
  • “补充策略与算法层”，也被称为 “再排序层”，可以在将推荐列表返回用户之前， 为兼顾结果的 “多样性” “流行度” “新鲜度” 等指标， 结合一些补充的策略和算法对推荐列表进行一定的调整， 最终形成用户可见的推荐列表

从推荐模型接收到所有候选物品集，到最后产生推荐列表， 这一过程一般称为模型服务过程

---

模型训练

• (1) 离线训练：利用全量样本和特征，使模型逼近全局最优点
• (2) 在线更新：准实时地 “消化” 新的数据样本，更快地反映新的数据变化趋势，满足模型实时性的需求

---

模型评估

• 为了评估推荐模型的效果，方便模型的迭代优化，推荐系统的模型部分提供了 “离线评估” 和 “线上 A/B 测试” 等多种评估模块，用得出的线下和线上评估指标， 指导下一步的模型迭代优化

参考文献

• 《深度学习推荐系统》(王喆)