推荐系统--3--深度学习发展

深度学习推荐模型，有早期微软的DeepCrossing, Google的Wide&Deep，阿里的MLR，到现在影响力非常大的DIN, DIEN, YouTube的深度推荐模型等。

这篇文章讲的是深度学习推荐模型，以及他们之间的发展关系。
深度学习能够显著提升推荐系统的效果，主要原因在于2点：

• 深度学习极大地增强了推荐模型的拟合能力
• 深度学习模型可以利用模型结构模拟用户兴趣的变迁、用户注意力机制等不同的用户行为过程。

深度学习模型的强拟合能力

经典的推荐算法，矩阵分解，在矩阵分解模型的结构中，用户One-hot向量和物品One-hot向量分局两侧，他们会先通过隐向量层转换成用户和物品隐向量，再通过点积的方式交叉生成最终的打分预测.
但是，点积这种特征向量交叉的方式毕竟太过于简单，在数据模式比较复杂的情况下，往往存在欠拟合的情况。而深度学习就能大大加强模型的拟合能力，比如NCF（神经网络协同过滤）模型中，点积层被替换为多层神经网络，理论上多层神经网络具备拟合任意函数的能力，所以我们通过增加网络层的方式就能解决模型欠拟合的问题。

深度学习模型结构的灵活性

说完了深度学习模型的强拟合能力，再看一下它的灵活性。深度学习模型的多变复杂特性可以让它模拟超级大脑一样，猜测用户行为。
经典的例子是DIN（深度兴趣网络）和DIEN（深度兴趣进化网络），它们通过在网络中进入注意力机制和模拟兴趣进化的序列模型，来更好地模拟用户的行为。

我们看DIN模型，它在神经网络中增加了一个叫做”激活单元“的结构，这个单元就是为了模拟人类的注意力机制。 举例：我们在购买电子产品时，比如买笔记本电脑时，更容易拿之前购买电脑的经验，或者其他电子产品的经验来直到当前的购买行为，很少会借鉴购买衣服和鞋子的经验。这就是一个典型的注意力机制，我们只会注意到相关度更高的历史购买行为，而DIN模型就是模拟了人类这样的注意力特点。

DIN的改进版DIEN模型更厉害，不仅引入了注意力机制，还模拟了用户兴趣随时间的演化过程。DIEN里面的色彩层，一层层的序列结构模拟的正是用户兴趣变迁的历史，通过模拟变迁的历史，DIEN模型可以更好地预测下一步用户会喜欢什么。

这些通过改变模型结构来模拟用户行为的做法不胜枚举，很多重要的深度学习模型的改进动机正是基于这样的原理。也正是因为这样的灵活性，正确、全面地掌握不同深度学习模型的特点，以及他们之间的发展关系变得异常重要，只有这样才能在实践中有的放矢、灵活应用。

深度学习推荐模型的演化关系图

• 首先看整个演化图最中心的部分，这是最基础的结构 MLP 多层感知机。MLP就像黑盒一样对输入的特征进行深度地组合交叉，然后输出对兴趣值得预测。其他深度推荐模型都是在多层感知机的基础上，进行结构上的改进而生成的，所以”多层感知机“是整个图的核心。
• 多层感知机向上，还有一个重点模型 DeepCrossing。 DeepCrossing实际上是一类经典深度学习模型的代表，相比于MLP，DeepCrossing在原始特征和MLP之间加入了Embedding层。这样一来，输入的稀疏特征先转成稠密Embedding向量，再参与到MLP中进行训练，这就解决了MLP不善于处理稀疏特征的问题。Embedding+MLP的结构是最经典，也是最广的深度学习推荐模型结构。
• 从MLP向下，是Google提出的推荐模型Wide&Deep。它把深层MLP和单层神经网络结合起来，希望同时让网络具备很好的”记忆性“和”泛化性“。wide&deep的提出，凭借’易实现”、“易落地”、“易改造”的特点，获得了业界广泛的应用，围绕着wide&deep还衍生出了诸多变种，比如通过改造wide部分提出的Deep&Cross和DeepFM, 以及通过改造Deep部分提出的AFM、NFM等等。总之，wide&deep是业界又一得到广泛应用的深度推荐模型。
• 除此之外，我们还可以看到经典的深度学习模型跟其他机器学习子领域的交叉。这里举3个著名的例子：1. 深度学习和注意力机制的结合，诞生了阿里的深度兴趣网络DIN，浙大和新加坡国莉提出的AFM等，2. 把序列模型引入MLP+Embedding的经典结构，诞生了阿里的深度兴趣进化网络DIEN, 3.把深度学习和强化学习结合在一起，诞生了微软的深度强化学习网络DRN，以及美团、阿里在内的非常有价值的业界应用。

关于模型改进的4个方向：

• 一是改变神经网络的复杂程度。从最简单的单层神经网络模型AutoRec， 到经典的深度神经网络结构DeepCrossing， 它们主要的进化方式在于增加了深度神经网络的层数和结构的复杂度。
• 二是改变特征交叉方式。这种演化方式的要点在于大大提高了深度学习 网络中特征交叉的能力，比如，改变了用户向量和物品向量互操作方式的NeuralCF, 定义了多种特征向量交叉操作的PNN等。
• 三是把多种模型组合应用。组合模型主要是指以Wide&Deep模型为代表的一系列把不同结构组合在一起的改进思路。它通过组合两种甚至多种不同特点、优势互补的深度学习网络，来提升模型的综合能力。
• 四是让深度推荐模型和其他领域进行交叉。我们从DIN,DIEN,DRN等模型中可以看出，深度推荐模型无时无刻不在其他研究领域汲取新的知识。今年的推荐系统顶会中可以看到，BERT与推荐模型结合起来产生了非常好的效果。