《深度学习推荐系统》——推荐序

深度学习推荐系统

内容简介

  本书从推荐模型、Embedding技术、推荐系统工程实现、模型评估体系、业界前沿实践介绍。适合人群：推荐系统、计算广告和搜索推荐的从业者阅读，也适合人工智能相关专业本科生、研究生、博士生。通过本书加强深度学习理论与推荐系统工程实践的融合能力。

推荐序

  个性化时代互联网核心技术：推荐、搜索和广告。巨头公司如谷歌、亚马逊、阿里巴巴重兵投入的技术护城河。面对的是互联网尺度的问题，非线性复杂度高，容易收集到大量数据，天然适合数据驱动的方法。2015年左右，深度学习技术浪潮席卷，引爆了整个领域的技术变革。
  对于追求实效的工业界来说，深度学习的价值不止贡献了一种算法。互联网技术的发展中，机器学习作为一种生产工具，很早被引入，并被应用在搜索、推荐、广告领域。早期学术界研究发表的模型往往停留在实验室阶段，难以被大规模应用，原因有二：第一是因为模型假设过于苛刻，跟真实情况差距很大，效果难以保证。二是工业界计算规模巨大，模型的训练和求解都存在复杂的工程挑战。一个新的模型从设计到应用，往往需要专业大规模并行计算团队动辄数月到数年的时间才能研发成功。工业界和学术界交流很少。
  然而，深度学习的出现改变了这一格局，采取如下搭积木式的算法研发新范式：
  （1）开源深度学习框架，提供封装好的基础模块，新模型算法的设计变成了工具化组装。
  （2）深度模型的优化可以采取一系列标准的优化器完成，无需人工进行梯度求导及优化算法的设计，大部分优化器都嵌入到深度学习框架中，无需进行编程开发。
  （3）算法工程师可以将精力集中到对领域问题的理解和模型设计，通过类似土木工程师绘图的方式搭建深度模型架构图，剩下的交给软件工程师，通过对深度学习框架计算效率和性能的优化，完成模型的训练。模型的设计和实现是解耦的。
  如今，一名技术实习生每天可以轻松完成数个深度模型算法的实验尝试，深度学习解放了工业界。推荐、搜索、广告等技术的创新已经逐渐演变为由工业界主导、以工业实践和领域驱动的模式。最领先的算法往往来自头部公司的顶尖团队，而不是学术界。
  工业界的算法，抛开理论外表，追求简洁务实。本书从技术创造的角度，及具体技术的诞生场景为蓝图，掌握工业界模型设计背后的“银弹”——目的是解决什么样的问题。
  目前工业界技术研发存在两种方法体系：
  （1）拿着锤子找钉子：跟踪最新的定会论文或大公司的技术博客，寻找创新点，拿到自己的场景尝试。
  （2）问题驱动：定义清楚问题，想清楚技术需求，寻找或构思相应的技术工具。
  业界很多技术团队或者算法工程师，习惯于第一种研发方法，主要是由于思维惯性和缺乏技术自信导致。以阿里巴巴为例，“真正能够发挥大量沉淀的互联网个性化行为数据” 的模型算法，创造性地提出、研发以及生成化了DIN、DIEN、MIMN、ESMM等一系列个性化行为预估模型，为阿里广告业务带来了百亿级收入增量。背后两条思考的主线：
  （1）互联网个性化行为模式，何种深度的模型结构捕捉内在规律？Attention、GRU兴趣随时间演化、Memory式结构（兴趣记忆与归纳）等引入模型设计中。
  （2）用何种技术容纳更多的数据？从单点行为建模发展了多种行为路径的联合建模、从短序列行为数据建模发展为超长行为序列建模。
  DeepL第一波直接的技术红利已经耗尽。各大公司达到滞涨阶段，成为工业级深度学习1.0阶段。标志（1）搭积木式的模型架构演进，其边际收益越来越低，（2）数据饥饿阶段，希望通过10倍、100倍的数据量填充既有模型，提升精度。（3）大部分新的大型算法优化和改进都需工程系统架构配套进行巨大的改造。
  瓶颈出现，新技术跃变在何方？
  对于推搜广，业界需要重新定义和设计新的系统架构——适应深度学习爆发时发展的领先的算法能力。工业级深度学习2.0阶段。由于模型复杂度的爆炸，算力变成新的制约。转变为复杂的、系统的技术体系推进。主要是算法与系统架构的协同设计。比如粗排算法，2019重新定义设计了粗排，采用全实时的计算方式，引入网络量化压缩、蒸馏等技术，对算力与模型精度进行了精细化平衡，在一定的算力约束下可以支持粗排模型采用任意复杂度的深度网络结构进行在线推理。使得最新的粗排模型可以逼近精排最复杂的模型，而且支持高效的线上迭代，取得了两位数以上的效果提升。
  在工业深度学习2.0阶段，技术演进的模式将再升级。工程师必须兼顾系统工程师思维，系统工程师必须紧跟算法大潮并尝试引领算法架构。对人的要求高（算法能力+工程能力）。