推荐系统：排序层概述（将召回层返回的粗筛结果进行排序）【传统模型：MF、FM、GBDT+LR、FFM】【深度学习：MLP、Wide&Deep、DeepFM、DIN..】【优化目标：CTR、观看时长.】

召回层的目的是为了快速的筛选掉绝大部分和用户兴趣无关的候选物品。那么与之相对的，排序层的作用则是尽可能精确的将召回的结果进行二次过滤，并且将其准确排序后呈现给用户。

排序层的模型通常有以下特点：

• 模型的复杂度较高，所需要用到的特征也很多，因此势必会造成排序层的处理速度相对较慢。
• 但是这一切所换来的好处就是高精确度的排序结果。

一、传统模型

在对传统的推荐模型进行总结时，读者也要意识到，传统推荐模型与深度学 习模型之间存在着千丝万缕的联系。正是对传统模型研究的不断积累，为深度学 习模型打下了坚实的理论和实践基础。

2006年，矩阵分解的技术成功应用在推荐系统领域，其隐向量的思想与深度 学习中Embedding技术的思路一脉相承；2010、年，FM被提出，特征交叉的概念 被引入推荐模型，其核心思想一特征交叉的思路也将在深度学习模型中被发扬 光大；2012年，LS-PLM在阿里巴巴大规模应用，其结构已经非常接近三层神经 网络；2014年，Facebook用 GBDT自动化处理特征，揭开了特征工程模型化的 篇章。这些概念都将在深度学习推荐模型中继续应用，持续发光。

另夕卜，Alex Krizhevsky 站在 Geoffrey Hinton > Yann LeCun、Yoshua Bengio 等大师的肩膀上，于 2012年提出了引爆整个深度学习浪潮的AlexNet^],将深度 学习的大幕正式拉开，其应用快速地州图像扩展到语音，再到自然语言处理领域， 推荐系统领域也必然紧随其后，投[深度学习的大潮之中。

从 2016年开始，随着FNN、Wide&Deep. Deep Crossing等一大批优秀的推 荐模型架构的提出，深度学习模型逐渐席卷推荐和广告领域，成为新一代推荐模 型当之无愧的主流。笔者将在第3章继续与读者探讨推荐模型的相关知识，从模 型演化的角度，揭开主流深度学习推荐模型之间的关系和技术细节的面纱。

简要地讲，传统推荐模型的发展脉络主要由以下几部分组成。

1. 协同过滤算法族(图2 -1中蓝色部分)。经典的协同过滤算法曾是推荐系统的首选模型，从物品相似度和用户相似度角度出发，协同过滤衍生出物品协 同过滤(ItemCF ) 和用户协同过滤(UserCF ) 两种算法。为了使协同过滤能够更 好地处理稀疏共现矩阵问题、增强模型的泛化能力，从协同过滤衍生出矩阵分解 模 型 (Matrix Factorization, MF ) , 并发展出矩阵分解的各分支模型。
2. 逻辑回归模型族。与协同过滤仅利用用户和物品之间的显式或隐式反馈 信息相比，逻辑回归能够利用和融合更多用户、物品及上下文特征。从 LR模型 衍生出的模型同样“枝繁叶茂”，包括增强了非线性能力的大规模分片线性模型 ( Large Scale Piece-wise Linear Model, LS-PLM ) , 由逻辑回归发展出来的 FM 模 型，以及与多种不同模型配合使用后的组合模型，等等。
3. 因子分解机模型族。因子分解机在传统逻辑回归的基础上，加入了二阶 部分，使模型具备了进行特征组合的能力。更进一步，在因子分解机基础上发展 出来的域感知因子分解机(Field-aware Factorization Machine, FFM ) 则通过加入 特征域的概念，进一步加强了因子分解机特征交叉的能力。
4. 组合模型。为了融合多个模型的优点，将不同模型组合使用是构建推荐 模型常用的方法。Facebook提出的GBDT+LR［ 梯度提升决策树(Gradient Boosting Decision Tree) +逻辑回归］组合模型是在业界影响力较大的组合方式。此外，组 合模型中体现出的特征工程模型化的思想，也成了深度学习推荐模型的引子和核 心思想之一。

二、深度学习模型

以多层感知机(Multi-Layer Perceptron, M LP)为核心，通过改变神经网络的结构，构建特点各异的深度学 习推荐模型，其主要的演变方向如下。

1. 改变神经网络的复杂程度：从最简单的单层神经网络模型AutoRec ( 自编码器推荐），到经典的深度神经网络结构Deep Crossing （深度特征交叉），其主 要的进化方式在于----增加了深度神经网络的层数和结构复杂度。
2. 改变特征交叉方式：这类模型的主要改变在于丰富了深度学习网络中特 征交叉的方式。例如，改变了用户向量和物品向量互操作方式的NeuralCFC Neural Collaborative Filtering,神经网络协同过滤），定义了多种特征向量交叉操作的 PNN （ Product-based Neural Network,基于积操作的神经网络）模型。
3. 组合模型 ：这类模型主要是指 Wide&Deep模型及其后续变种 Deep&Cross. DeepFM等，其思路是通过组合两种不同特点、优势互补的深度学 习网络，提升模型的综合能力。
4. FM模型的深度学习演化版本：传统推荐模型FM在深度学习时代有了 诸多后续版本，其中包括NFM （ Neural Factorization Machine,神经网络因子分 解 机 ）、FNN （ Factorization-machine supported Neural Network,基于因子分解机 支持的神经网络）、AFM （ Attention neural Factorization Machine, 注意力因子分 解机）等，它们对FM的改进方向各不相同。例如，NFM主要使用神经网络提 升 FM二阶部分的特征交叉能力，AFM是引入了注意力机制的FM模型，FNN 利用FM的结果进行网络初始化。
5. 注意力机制与推荐模型的结合：这类模型主要是将“注意力机制”应用 于深度学习推荐模型中，主要包括结合了 FM与注意力机制的AFM和引入了注 意力机制的CTR预估模型DIN （ Deep Interest Network,深度兴趣网络）。
6. 序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为或用户兴趣的演化趋势，代表模型是DIEN（ Deep Interest Evolution Network, 深度兴趣进化网络）。
7. 强化学习与推荐模型的结合：这类模型将强化学习应用于推荐领域，强调模型的在线学习和实时更新，其代表模型是DRN（ Deep Reinforcement Learning Network,深度强化学习网络）。