深度学习推荐系统——深度学习时代

AutoRec

$$h(\mathbf{r};\theta )=f(\mathbf{W}\cdot g(\mathbf{V}\mathbf{r}+\mu )+b)$$
损失函数：
$$\underset{\theta }{\min }\sum _{i=1}^n{\Vert {\mathbf{r}}^{(i)}-h\left({\mathbf{r}}^{(i)};\theta \right)\Vert }_O^2+\frac{\lambda }{2}\cdot \left(\Vert \mathbf{W}{\Vert }_F^2+\Vert \mathbf{V}{\Vert }_F^2\right)$$
其中$\mathbf{r}$表示m个用户对它的评分，即共现矩阵中的列向量。
经过自编码器生成的输出向量，不会完全等同于输入向量，也因此具备了一定的缺失维度的预测能力。
以上是I-AutoRec，如果换做用户的评分向量，则得到U-AutoRec。优势在于输入一次就得到目标用户对所有物品的预测评分，劣势在于用户向量的稀疏性会影响模型的结果。

优点：具备一定泛化能力和表达能力
缺点：表达能力不足

Deep Crossing

主要包括4层：Embedding层，Stacking层，Multiple Residual Units层和Scoring层。

• Embedding层：Embedding层的作用是将稀疏的类别型特征转换成稠密的Embedding向量。一般来说Embedding向量的维度应远小于原始的稀疏特征向量。
• Stacking层：拼接Embedding特征。
• Multiple Residual Units层：主要结构是多层感知机，采用了多层残差网络（Multi-Layer Residual Network）
• Scoring层：对于CTR预估这类二分类问题，可用逻辑回归模型。对于多分类，可采用softmax模型。

优点：深度特征交叉

NeuralCF

“多层神经网络+输出层”替代“矩阵分解中的内积”

优点：
1、让用户向量和物品向量进行充分的交叉
2、引入更多的非线性特征

PNN

PNN和Deep Crossing模型的区别在于用Product层替代了Stacking层。分为内积操作和外积操作，但外积操作用于形成矩阵，因此可以考虑池化层来减少训练负担。

PNN在于强调特征向量之间的交叉方式是多样化的。

Wide&Deep

由单层的Wide部分和多层的Deep部分组成的混合模型。其中，Wide作用是让模型具有较强的“记忆能力”；Deep作用是让模型具有“泛化能力”。

“记忆能力”可以被理解为模型直接学习并利用历史数据中物品或者特征的“共现频率”的能力。
“泛化能力”可以被理解为模型传递特征的相关性，以及发掘稀疏甚至从未出现过的稀有特征与最终标签相关性的能力。

Deeo部分的输入是全量的特征向量。Wide部分的输入仅仅是已安装应用和曝光应用两类特征。可以用Cross替代Wide，改进为Deep&Cross，增加特征间的交互。

优点：
能够融合传统模型记忆能力和深度学习模型泛化能力的优势
模型的结构不复杂，容易部署上线

FM与深度学习模型结合

FNN

由于Embedding层的输入极端稀疏化，参数量很大，导致Embedding层的收敛速度很慢，因此用FM的隐向量完成Embedding层初始化。FM数学形式：
$${\mathbf{y}}_{\mathrm{F}\mathrm{M}}(x):=\mathrm{sigmoid}\left(w_0+\sum _{i=1}^N{w}_i{x}_i+\sum _{i=1}^N\sum _{j=i+1}^N⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩x_i{x}_j\right)$$

DeepFM

DeepFM对Wide&Deep模型的改进之处在于，它用FM替代了原来的Wide部分，加强了浅层网络部分特征组合的能力。

NFM

NFM模型的主要思路是用一个表达能力更强的函数替代原FM中二阶隐向量内积部门。

注意力机制

AFM

注意力网络的作用是为每一个交叉特征提供权重，也就是注意力得分。
$$\begin{gathered} f_{\mathrm{A}\mathrm{t}\mathrm{t}}\left(f_{\mathrm{P}\mathrm{I}}(\epsilon )\right)=\sum _{(i,j)\in {\mathcal{R}}_x}{a}_{ij}\left(v_i\odot v_j\right)x_i{x}_j \\ \begin{array}{c}{a}_{ij=}^{\prime }{\mathbf{h}}^{\mathrm{T}}\mathrm{ReLU}\left(\mathbf{W}\left({\mathbf{v}}_i\odot v_j\right)x_i{x}_j+\mathbf{b}\right)\\ a_{ij}=\frac{\exp \left(a_{ij}^{\prime }\right)}{{\sum }_{(i,j)\in {\mathcal{R}}_x}\exp \left(a_{ij}^{\prime }\right)}\end{array} \end{gathered}$$

DIN

在计算一个用户是否点击一个广告 a 时，模型的输人特征自然分为两大部分：一部分是用户的特征组，另一部分是候选广告 a 的特征组。利用候选商品和历史行为商品之间的相关性计算出一个权重，这个权重就代表了注意力的强弱。表示如下：
$${\mathbf{V}}_{\mathrm{u}}=f\left({\mathbf{V}}_{\mathrm{a}}\right)=\sum _{i=1}^N{w}_i\cdot {\mathbf{V}}_i=\sum _{i=1}^{N}g\left({\mathbf{V}}_i,{\mathbf{V}}_{\mathrm{a}}\right)\cdot {\mathbf{V}}_{\mathbf{i}}$$
其中，$V_u$是用户的 Embedding 向量，$V_a$是候选广告商品的 Embedding 向量， $V_I$是用户$u$的第$i$次行为的 Embedding 向量。这里用户的行为就是浏览商品或店铺，因此行为的 Embedding 向量就是那次浏览的商品或店铺的 Embedding 向量。

因为加入了注意力机制，所以$V_u$从过去$V_i$的加和变成了$V_i$的加权和，$V_i$的权重$w_i$就由$V_i$与$V_a$的关系决定，也就是中的$g(V_i,V_a)$即“注意力得分”。

那么，$g(V_i,V_a)$函数到底采用什么形式比较好呢？答案是使用一个注意力激活单元来生成注意力得分。这个注意力激活单元本质上也是一个小的神经网络。

DIEN

（1）它加强了最近行为对下次行为预测的印象。
（2）序列模型能够学习到购买趋势的信息。
兴趣进化网络分为三层，从下至上依次是：
（1）行为序列层：其主要作用是把原始的id类行为序列转换成Embedding行为序列。
（2）兴趣抽取层：其主要作用是通过模拟用户兴趣迁移过程，抽取用户兴趣。
（3）兴趣进化层：其主要作用是通过在兴趣抽取层基础上加入注意力机制，模拟与当前目标广告相关的兴趣进化过程。

总结