论文《Neural Attentive Session-based Recommendation》阅读

论文概况

本文是2017年ICKM上的一篇论文，通过使用GRU时序门控单元处理序列化的会话，结合局部和全局编码操作，最终对用户行为进行预测。

Introduction

作者提出问题

• 现阶段模型只重视会话本身，而没有挖掘用户的意图，例如：
  
  有效的推荐应该如图a，因为用户浏览了衣服裤子，那很可能再买一双鞋来搭配，而现阶段模型更倾向于图b，单纯去比较带推荐物品与会话中物品的相似程度来排序，因此只会推荐衣服和裤子。
  对于上述问题，作者提出了NARM模型（Neural Attentive Recommendation Machine）：
  (1) 该模型考虑了用户在当前会话中的顺序行为和主要目的
  (2) 应用注意力机制来提取用户在当前会话中的主要目的

Method

A.Global Encoder in NARM

在全局编码器中，输入是整个先前的单击，而输出是用户在当前会话中的顺序行为的特征。输入和输出均由高维向量统一表示。
${\mathbf{h}}_{t-1}$为上一轮activation，${\hat{\mathbf{h}}}_t$为候选activation，新一轮的更新公式为：
$${\mathbf{h}}_t=\left(1-{\mathbf{z}}_t\right){\mathbf{h}}_{t-1}+{\mathbf{z}}_t{\hat{\mathbf{h}}}_t\text{\hspace{1em}(1)}$$
其中$z_t$更新公式为：
$${\mathbf{z}}_t=\sigma \left({\mathbf{W}}_z{\mathbf{x}}_t+{\mathbf{U}}_z{\mathbf{h}}_{t-1}\right)\text{\hspace{1em}(2)}$$
候选activation${\hat{\mathbf{h}}}_t$计算公式为：
$${\hat{\mathbf{h}}}_t=\tanh \left[\mathbf{W}{\mathbf{x}}_t+\mathbf{U}\left({\mathbf{r}}_t\odot {\mathbf{h}}_{t-1}\right)\right]\text{\hspace{1em}(3)}$$
更新门${\mathbf{r}}_t$计算方式为
$${\mathbf{r}}_t=\sigma \left({\mathbf{W}}_r{\mathbf{x}}_t+{\mathbf{U}}_r{\mathbf{h}}_{t-1}\right)\text{\hspace{1em}(4)}$$
全局编码为整体会话经过gru处理的结果
$${\mathbf{c}}_t^{\mathrm{g}}={\mathbf{h}}_t\text{\hspace{1em}(5)}$$
然而，这种全局编码器有其缺点，例如整个序列行为的矢量概括通常难以捕捉当前用户的精确意图。

B.Local Encoder in NARM

如图三所示，为了探寻用户短期意图，我们对gru每一轮的输出进行单独处理
$$c_t^1=\sum _{j=1}^t{\alpha }_{tj}{\mathbf{h}}_j\text{\hspace{1em}(6)}$$
其中加权因子α确定在进行预测时应强调或忽略输入序列的哪个部分，α通过计算${\mathbf{h}}_t$与${\mathbf{h}}_j$的相似度来决定
$${\alpha }_{tj}=q\left({\mathbf{h}}_t,{\mathbf{h}}_j\right)\text{\hspace{1em}(7)}$$
$$q\left({\mathbf{h}}_t,{\mathbf{h}}_j\right)={\mathbf{v}}^{\mathrm{T}}\sigma \left({\mathbf{A}}_1{\mathbf{h}}_t+{\mathbf{A}}_2{\mathbf{h}}_j\right)\text{\hspace{1em}(8)}$$

C. NARM Model

最终用户喜好表示为全局与局部编码的级联
$${\mathbf{c}}_t=\left[{\mathbf{c}}_t^{\mathrm{g}};{\mathbf{c}}_t^{\mathrm{l}}\right]=\left[{\mathbf{h}}_t^{\mathrm{g}};\sum _{j=1}^t{\alpha }_{tj}{\mathbf{h}}_t^{\mathrm{l}}\right]\text{\hspace{1em}(9)}$$
使用点乘计算相似度的方式来给物品打分
$$S_i=em{b}_i^{\mathrm{T}}\mathbf{B}{\mathbf{c}}_{\mathbf{t}}\text{\hspace{1em}(10)}$$
其中B为|D|*|H|维度的可学习矩阵
最后损失函数设定为交叉熵函数：
$$L(p,q)=-\sum _{i=1}^m{p}_i\log \left(q_i\right)\text{\hspace{1em}(11)}$$
其中q是预测概率分布，p是真实分布。

总结

NARM不仅提取了会话的序列化信息，还通过gru表达了用户的意图，将会话整体特征与用户意图相结合来解决会话推荐问题。