《深度学习推荐系统》——第一章

第一章 互联网的增长引擎——推荐系统

   这是一个生活处处被推荐系统影响的时代。
1、上网购物，挑选商品。
2、了解咨询，感兴趣的新闻。
3、学习充电，最合适的课程。
4、消遣放松，欲罢不能的短视频。
5、闭目养神，最应景的音乐。
   推荐系统是互联网发展的增长引擎，推荐工程师就是推荐系统的发展引擎。本章从具体场景出发，介绍什么是推荐系统，为什么是互联网的“增长引擎”，如何从技术角度看待推荐系统、构建推荐系统的整体技术架构。

1.1 为什么推荐系统是互联网的增长引擎

   如何理解增长：笔者大学时期是清华Tsinghua cs的与搜狗有合作，如果让广告的点击率增长1%，能带来上千万的利润。

1.1.1推荐系统的作用和意义

   从用户和公司两个角度进行阐述。
   用户角度：推荐系统解决在“信息过载”的情况下，用户如何高效获得感兴趣信息的问题。在用户需求并不十分明确的情况下进行信息的过滤。
   公司角度：推荐系统解决产品能够最大限度地吸引用户、留存用户、增加用户粘性、提高用户转化率的问题，从而达到公司商业目标连续增长的目的。 不同业务模式的公司定义的具体推荐系统优化目标不同，视频类——用户观看时长，电商类——购买转化率 Conversion Rate，CVR，新闻类——用户的点击率。设计推荐系统最终的目的是达成公司的商业目标、增加公司收益。
   推荐系统不仅是用户高效获取感兴趣内容的“引擎”，也是互联网公司达成商业目标的“引擎”，二者是一个问题的两个维度，是相辅相成的。

1.1.2 推荐系统与YouTube的观看时长增长

   YouTube是全球最大的UGC User Generated Content 视频分享平台，目标是用户观看时长的增长，而不是点击率。以广告为主要收入来源，观看时长与广告的总曝光机会成正比。论文《Deep Neural Networks for YouTube Recommenders》非常明确指出了以观看时长作为优化目标的建模方法。流程：1、通过构建深度学习模型，预测用户观看某候选视频的时长。2、按照预测时长进行候选视频排序，形成最终的推荐列表。

1.1.3 推荐系统与电商网站的收入增长

  推荐系统推荐商品直接影响了用户的购买转化率。

1.2推荐系统的架构

  通过1.1我们了解以下两点：
  （1）推荐系统是互联网增长的核心位置。
  （2）推荐系统要解决的“用户痛点”是用户如何在“信息过载”的情况下高效地获得感兴趣的信息。
  商品、视频、新闻，其中的信息，可以统称为**“物品信息”。推荐系统希望用到“用户信息”。
  时间、地点、用户的状态等一系列环境信息的影响，称为“场景信息”或“上下文信息”**

1.2.1 推荐系统的逻辑框架

  问题定义为：对于用户U（user），在特定场景C（context）下，针对海量的“物品”信息，构建一个函数f(U,I,C)，预测用户对特定候选物品**I（item）**的喜好程度，再根据喜好程度对所有候选物品进行排序，生成推荐列表的问题。
  可以抽象得到推荐系统逻辑框架，在此基础上，对各模块进行细化和扩展，产生了推荐系统的整个技术体系。

1.2.2 推荐系统的技术架构

  工程师需要将抽象的概念和模块具体化、工程化。两类问题。
  （1）数据和信息相关的问题，即“用户信息”“物品信息”“场景信息”分别是什么？如何存储、更新和处理？
  （1）推荐系统算法和模型相关的问题，即推荐模型如何训练、如何预测、如何达成更好的推荐效果？
  其中，“数据和信息”部分逐渐发展为推荐系统中融合了数据离线批处理、实时流处理的数据流框架；“算法和模型”部分则进一步细化成为推荐系统中集训练、评估、部署、线上推断为一体的模型框架。技术架构示意图如下。

1.2.3推荐系统的数据部分

  数据部分主要负责“用户”“物品”“场景”的信息收集与处理。将负责数据收集与处理的三种平台按照实时性的强弱排序，依次为 “ 客户端及服务器端实时数据处理” “ 流处理平台准实时数据处理”“ ⼤数据平台离线数据处理”。在实时性由强到弱递减的同时，三种平台的海量数据处理能⼒则由弱到强。⼀个成熟的推荐系统的数据流系统会将三者取⻓补短，配合使⽤。
  在得到原始的数据信息后，推荐系统的数据处理系统会将原始数据进⼀步加⼯，加⼯后的数据出⼝主要有三个：
  （1）生成推荐模型所需的样本数据，用于算法模型的训练和评估。
  （2）生成推荐模型服务（model serving）所需的“特征”，用于推荐系统的线上推断。
  （3）生成系统监控、商业智能（BI）系统所需的统计型数据。

1.2.4推荐系统的模型部分

  “模型部分”是推荐系统的主体，模型结构一般由**“召回层”、“排序层”、“补充策略与算法层”组成。
  “召回层”利用高效的召回规则、算法或简单的模型，快速从海量的候选集中召回用户可能感兴趣的物品。
  “排序层”利用排序模型对初筛的候选集进行精排序。
  “补充策略与算法层”，也称为“再排序层”，可以在将推荐列表返回⽤户之前，为兼顾结果的“ 多样性” “ 流⾏度” “ 新鲜度” 等指标，结合⼀些补充的策略和算法对推荐列表进⾏⼀定的调整，最终形成⽤户可⻅的推荐列表。
  从推荐模型接收到所有候选物品集，到最后产⽣推荐列表，这⼀过程⼀般称为模型服务过程**。
在线环境进⾏模型服务之前，需要通过模型训练（ model training )确定模型结构、结构中不同参数权的具体数值，以及模型相关算法和策略中的参数取值。模型的训练⽅法⼜可以根据模型训练环境的不同，分为**“ 离线训练” 和 “ 在线更新”** 两部分，其中：离线训练的特点是可以利⽤全量样本和特征，使模型逼近全局最优点；在线更新则可以准实时地“ 消化” 新的数据样本，更快地反映新的数据变化趋势，满⾜模型实时性的需求。
  除此之外，为了评估推荐模型的效果，⽅便模型的迭代优化，推荐系统的模型部分提供了“ 离线评估” 和“ 线上 A/B 测试” 等多种评估模块，⽤得岀的线下和线上评估指标，指导下⼀步的模型迭代优化。
  以上所有模块共同组成了推荐系统模型部分的技术框架。模型部分，特别是**“排序层” 模型是推荐系统产⽣效果的重点**，也是业界和学界研究的重⼼。因此在后⾯的章节中，笔者将着重介绍模型部分，特别是**“ 排序层” 模型的主流技术及其演化趋势**。

1.2.5 深度学习对推荐系统的革命性贡献

  深度学习对推荐系统的⾰命性贡献在于对推荐模型部分的改进。与传统的推荐模型相比，深度学习模型对数据模式的拟合能⼒和对特征组合的挖掘能⼒更强。此外，深度学习模型结构的灵活性，使其能够根据不同推荐场景调整模型，使之与特定业务数据 “ 完美” 契合。
  与此同时，深度学习对海量训练数据及数据实时性的要求，也对推荐系统的数据流部分提出了新的挑战。如何尽量做到海量数据的实时处理、特征的实时提取，线上模型服务过程的数据实时获取，是深度学习推荐系统数据部分需要攻克的难题。

1.2.6 把握整体，补充细节

  推荐系统的整体技术架构及其对应的技术细节是异常复杂的，它不仅要求从业者有较深厚的机器学习知识、推荐模型相关的理论知识，还对从业者的⼯程能力和针对不同技术⽅案进⾏权衡，做出最优选择的“ 业务嗅觉” 有着很⾼的要求。也许这正是推荐系统魅⼒之所在。

1.3 本书的整体结构

  本书的整体结构在图1-4的基础上展开，并重点介绍深度学习在推荐系统中的应⽤知识点和实践经验。在介绍具体的技术点时，笔者力图介绍清楚技术发展的主要脉络和前因后果。
  由于推荐系统排序模型在推荐系统中占据绝对核⼼的地位，本书的前⼏章将着重介绍深度学习排序模型的技术演化趋势，在之后的章节中，会依次介绍推荐系统其他模块的技术细节和⼯程实现，通过业界前沿的推荐系统实例将所有知识融会贯通。具体地讲，本书的主要内容共分为 9章。
  第 1 章 互联网的增⻓引擎—推荐系统。介绍推荐系统的基础知识，在互联⽹中的地位和作⽤；介绍推荐系统的主要技术架构，使读者对推荐系统有宏观的认识，从整体到部分地展开本书的内容。
  第 2章前深度学习时代—推荐系统的进化之路。介绍前深度学习时代推荐模型的演变历史，并介绍与推荐模型相关的基础机器学习知识，为深度学习推荐系统的学习夯实基础。
  第 3章浪潮之巅—深度学习在推荐系统中的应⽤。介绍业界主流的深度学习推荐模型结构，以及不同模型之间的演化关系。希望读者能够在掌握深度学习推荐系统主要技术途径的同时，建⽴起改进推荐模型
的思路和技术直觉。
  第 4 章 Embedding 技术在推荐系统中的应⽤重点介绍深度学习的核⼼技术——Embedding 技术在推荐系统中的应⽤，其中包括主流 Embedding 技术的发展过程和技术细节，及其实践和应⽤。
  第 5章多角度审视推荐系统。如果说深度学习推荐模型是推荐系统的核⼼，那么本章将从核⼼之外的⻆度重新审视推荐系统，内容覆盖推荐系统的不同技术模块及优化思路。其中包括特征⼯程、召回层策略、推荐系统实时性、优化⽬标、业务理解、冷启动、“ 探索与利⽤” 等多个᯿要的推荐系统话题。
  第 6 章深度学习推荐系统的工程实现。介绍深度学习推荐系统的⼯程实现⽅法和主要技术平台。包括数据处理平台、离线训练平台、线上部署和预估⽅法等三⼤部分内容。
  第 7 章推荐系统的评估。介绍推荐系统评估的主要指标和⽅法。建⽴从传统离线评估、离线仿真评估⽅法，到快速线上评估测试⽅法，最终到线上 A/B 测试评估的多层推荐系统评估体系。
  第 8 章深度学习推沒系统的前沿实践。介绍业界前沿推荐系统的技术框架和模型细节。主要包括 YouTube、Airbnb、Facebook,阿⾥巴巴等业界巨头的推荐系统的前沿实践。
  第 9 章 构建属于你的推荐系统知识框架。汇总与本书相关的推荐系统知识，介绍推荐⼯程师应具备的主要技能点和思维⽅法。

参考文献

略