深度学习推荐系统——结构探索

AFM

  Attentional Factorization Machines，在 NFM 模型中加入注意力机制，通过加入注意力网络，对不同特征交叉的关注度不同，即在元素积操作中加入注意力得分 $a_{ij}$，再进行池化。
$$f_{Att}=\sum _{(i,j)\in R_x}{a}_{ij}(v_i\odot v_j)x_i{x}_j$$

DIN

  Deep Interest Network，模型输入的广告特征和用户特征，两者的关联程度非常强，针对广告特征可以投给不同特征不同注意力，即利用候选商品和历史行为商品之间的相关性计算出一个权重。
  设 $V_u$ 为用户的 Embedding 向量，$V_a$ 为候选商品的 Embedding 向量，$V_i$ 为用户第 $i$ 次行为的 Embedding 向量，本质上是将 $V_i$ 从平均池化变为加权和，注意力得分 $g(V_i,V_a)$ 则由神经网络构成的注意力激活单元构成：
$$V_u=\sum _{i=1}^N{w}_i\cdot V_i=\sum _{i=1}^{N}g(V_i,V_a)\cdot V_i$$

DIEN

  Deep Interest Evolution Network，DIN 的演化模型，引进序列信息，创新点在于兴趣进化网络。先由行为序列层把原始的 id 类行为序列转换为 Embedding 行为序列，接着兴趣抽取层模拟用户兴趣迁移过程（GRU 网络），最后兴趣进化层加入注意力机制模拟兴趣进化过程（AUGRU）。

DRN

强化学习：智能体“行动-反馈-状态更新”。初始化推荐系统，基于已收集数据进行排序，收到用户反馈，更新状态或训练模型来更新模型。
  使用 DQN 作为智能体，将用户特征和环境特征归为状态向量，将用户-新闻交叉特征和新闻特征归为行动特征，再将价值得分和优势得分综合起来。



竞争梯度下降算法：