推荐系统基础知识——深度推荐模型（三）

深度推荐模型

注意力机制与推荐模型的结合

AFM

Paper : Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks

Attention Neural Factorization Machine

• 在NFM中，两两特征交叉向量之间可能有不同的权重，某些交叉特征可能更重要，某些则不那么重要。所以AFM在NFM的基础上引入了Attention机制，给交叉特征向量加上了不同的Attention Score

  $$f_{\text{Att }}\left(f_{PI}(\mathcal{E})\right)=\sum _{(i,j)\in {\mathcal{R}}_x}{a}_{ij}\left({\mathbf{v}}_i\odot {\mathbf{v}}_j\right)x_i{x}_j$$

  $$f_{a_{ij}}^{\prime }=\left({\mathbf{v}}_i\odot {\mathbf{v}}_j\right)x_i{x}_j$$

  

  • 对于$a_{ij}$来说，最简单的方式就是用一个单一的、只与当前交叉特征向量有关而与其他交叉向量无关的可学习参数来表示，但这存在一个问题：由于推荐系统领域输入特征的稀疏性，可能有一些交叉特征向量本身就是稀疏的（即为0向量），采用这种方式时，在梯度反向传播时，对应交叉特征的权重可能不会被有效更新

  • AFM使用了一个简单的AttentionNet来解决上述梯度的问题：一个简单的单全连接层+Softmax的结构

  $$\begin{array}{rl}& a_{ij}^{\prime }={\mathbf{h}}^T\mathrm{Re}LU\left(\mathbf{W}\left({\mathbf{v}}_i\odot {\mathbf{v}}_j\right)x_i{x}_j+\mathbf{b}\right)\\ & a_{ij}=\frac{\exp \left(a_{ij}^{\prime }\right)}{{\sum }_{(i,j)\in {\mathcal{R}}_x}\exp \left(a_{ij}^{\prime }\right)}\end{array}$$
  其中，$W$为全连接层的权重矩阵，$b$为偏置向量，$h$为权重向量

  

  • 由于全连接层中每个输出神经元都与所有输入神经元（即特征交叉向量）相连，所以在反向传播时，有一些稀疏向量存在并不影响参数的更新（因为存在多条梯度路径，一条为0还可以用其余几条的梯度去更新）

  

DIN

Paper : Deep Interest Network for Click-Through Rate Prediction

Deep Interest Network

• DIN引入attention机制，计算用户特征与候选广告之间的关联程度，从而表达用户特征之间的不同权重关系

  $${\mathbf{v}}_U(A)=f\left({\mathbf{v}}_A,{\mathbf{e}}_1,{\mathbf{e}}_2,\dots ,{\mathbf{e}}_H\right)=\sum _{j=1}^{H}a\left({\mathbf{e}}_j,{\mathbf{v}}_A\right){\mathbf{e}}_j=\sum _{j=1}^H{\mathbf{w}}_j{\mathbf{e}}_j$$

  

• 自适应激活函数（Dice）

  • 普通的激活函数的分割点一般为$0$，而DICE不固定为$0$，而是伴随着数据的改变而动态变化

  $$f(s)=p(s)\cdot s+(1-p(s))\cdot \alpha s,p(s)=\frac{1}{1+e^{-\frac{s-E[s]}{\sqrt{\mathrm{Var}[s]+ϵ}}}}$$

  

• 一种高效正则化方法（Mini-batch Aware Regularization）

  • DNN模型往往参数量大且推荐系统模型输入十分稀疏，在SGD优化器设置下，只有非零元素才能被有效更新。这时若使用普通的$L_1$、$L_2$正则化对所有的参数都进行计算正则化项并更新，则会增加很多非必要的计算量，因此DIN运用了一种正则化方法使得只有那些非零元素才被计算正则化项进行更新

    $$L_2(\mathbf{W})=\sum _{j=1}^K\sum _{m=1}^B\sum _{(\mathbf{x},y)\in {\mathcal{B}}_m}\frac{I\left({\mathbf{x}}_j\ne 0\right)}{n_j}{\Vert {\mathbf{w}}_j\Vert }_2^2$$

AutoInt

Paper : AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks

AutoInt

• 模型结构

  • 主要引入Self-Attention计算高阶交叉特征，引入残差计算最后的特征表示

  $$\begin{array}{c}{\alpha }_{\mathrm{m},\mathrm{k}}^{(\mathrm{h})}=\frac{\exp \left({\psi }^{(h)}\left({\mathbf{e}}_{\mathrm{m}},{\mathbf{e}}_{\mathrm{k}}\right)\right)}{{\sum }_{l=1}^M\exp \left({\psi }^{(h)}\left({\mathbf{e}}_{\mathrm{m}},{\mathbf{e}}_{\mathrm{l}}\right)\right)}\\ {\psi }^{(h)}\left({\mathbf{e}}_{\mathrm{m}},{\mathbf{e}}_{\mathrm{k}}\right)=⟨{\mathbf{W}}_{\text{Query }}^{(\mathrm{h})}{\mathbf{e}}_{\mathrm{m}},{\mathbf{W}}_{\mathrm{Key}}^{(\mathrm{h})}{\mathbf{e}}_{\mathrm{k}}⟩\end{array}$$

  $${\tilde{\mathrm{e}}}_{\mathrm{m}}^{(\mathrm{h})}=\sum _{k=1}^M{\alpha }_{\mathrm{m},\mathrm{k}}^{(\mathrm{h})}\left({\mathbf{W}}_{\text{Value }}^{(\mathrm{h})}{\mathbf{e}}_{\mathrm{k}}\right)$$

  $${\tilde{\mathrm{e}}}_{\mathrm{m}}={\tilde{\mathrm{e}}}_{\mathrm{m}}^{(1)}\oplus {\tilde{\mathrm{e}}}_{\mathrm{m}}^{(2)}\oplus \cdots {\tilde{\mathrm{e}}}_{\mathrm{m}}^{(\mathrm{H})}$$

  $${\mathbf{e}}_{\mathbf{m}}^{\mathrm{Res}}=\mathrm{ReLU}\left({\mathbf{e}}_{\mathbf{m}}+{\mathbf{W}}_{\mathrm{Res}}{\mathbf{e}}_{\mathbf{m}}\right)$$

  $$\hat{y}=\sigma \left({\mathbf{w}}^{\mathbf{T}}\left({\mathbf{e}}_1^{\mathrm{Res}}\oplus {\mathbf{e}}_2^{\mathrm{Res}}\oplus \cdots \oplus {\mathbf{e}}_{\mathbf{M}}^{\mathrm{Res}}\right)+b\right)$$

  

序列模型与推荐模型的结合

DIEN

Paper : Deep Interest Evolution Network for Click-Through Rate Prediction

Deep Interest Evolution Network

• 模型架构

  • 由于用户历史数据是有前后时间关联的，所以DIEN考虑使用RNN模型来建模用户的行为模式

  • 由于GRU只能学习到用户行为之间的依赖关系，无法直接反应出用户的兴趣，所以DIEN使用了一个辅助Loss来帮助学习

  $$\begin{array}{r}{L}_{aux}=-\frac{1}{N}({\sum }_{i=1}^N{\sum }_t\log \sigma \left({\mathbf{h}}_t^i,{\mathbf{e}}_b^i[t+1]\right)\\ +\log \left(1-\sigma \left({\mathbf{h}}_t^i,{\hat{\mathbf{e}}}_b^i[t+1]\right)\right)),\end{array}$$

  $$L=L_{\text{target }}+\alpha \ast L_{\text{aux }}$$
  正样本即为下一个真实点击的item，负样本从非正样本中随机采样

  • DIEN修改GRU结构，引入Attention机制，Attention Score计算公式如下

    $$a_t=\frac{\exp \left({\mathbf{h}}_{t}W{\mathbf{e}}_a\right)}{{\sum }_{j=1}^T\exp \left({\mathbf{h}}_{j}W{\mathbf{e}}_a\right)}$$

    • GRU with Attentional Input（AIGRU）

      • 将Attention直接作用于GRU的输入，无需修改GRU结构

      $${\mathbf{i}}_t^{\prime }={\mathbf{h}}_t\ast a_t$$

    • Attention based GRU（AGRU）

      • 将Attention机制应用于GRU的update gate

      $${\mathbf{h}}_t^{\prime }=\left(1-a_t\right)\ast {\mathbf{h}}_{t-1}^{\prime }+a_t\ast {\tilde{\mathbf{h}}}_t^{\prime }$$

    • GRU with Attentional Update Gate（AUGRU）

      $$\begin{array}{rl}{\tilde{\mathbf{u}}}_t^{\prime }& =a_t\ast {\mathbf{u}}_t^{\prime }\\ {\mathbf{h}}_t^{\prime }& =\left(1-{\tilde{\mathbf{u}}}_t^{\prime }\right)\circ {\mathbf{h}}_{t-1}^{\prime }+{\tilde{\mathbf{u}}}_t^{\prime }\circ {\tilde{\mathbf{h}}}_t^{\prime }\end{array}$$

  

强化学习与推荐模型的结合

DRN

Paper : DRN: A Deep Reinforcement Learning Framework for News Recommendation

Deep Reinforcement Learning Network

• 强化学习概念在推荐系统领域的解释

  

• DQN的结构如下所示

  

• DRN的迭代学习过程

  • 在离线部分，根据历史数据训练模型，作为智能体的初始化模型

  • 在两个时间戳间的时段，利用模型进行PUSH服务，同时积累FEEDBACK

  • 在每个时间戳上，利用上一阶段积累的反馈数据进行MINOR UPDATE

  • 每隔一段时间，利用历史收集的数据以及用户活跃度数据使用Experience Replay进行MAJOR UPDATE

  • 重复上述2~4步

  

• MINOR UPDATE——Dueling Bandit Gradient Descent

  微更新——竞争梯度下降

  • 对当前网络$Q$的模型参数$W$添加一个较小的随机扰动$\Delta W$，得到新的模型参数$\tilde{W}$，对应于探索网络$\tilde{Q}$

    $$\Delta \mathrm{W}=\alpha \cdot \mathrm{rand}(-1,1)\cdot \mathrm{W}$$
    $\alpha$为探索因子，决定探索力度大小

  • 对当前网络$Q$与探索网络$\tilde{Q}$分别生成推荐列表$L$与$\tilde{L}$，用Interleaving将两个推荐列表组合成一个推荐列表后推送给用户

  • 实时收集用户反馈。如果探索网络$\tilde{Q}$生成内容的效果好于当前网络$Q$，则用探索网络代替当前网络，进入下一轮迭代

    $${\mathrm{W}}^{\prime }=\mathrm{W}+\eta \tilde{\mathrm{W}}$$
    否则保留当前网络不变。