论文《TAGNN：Target Attentive Graph Neural Networks for Session-based Recommendation》阅读

论文概况

今天给大家带来的论文是中国科学院谭铁牛老师及其团队成员在SR-GNN的基础上，发表在SIGIR 2020上的一篇短文，完成模型TAGNN。

Introduction

这篇论文在SR-GNN的基础上，沿用了门控图神经网络（Gated Graph Neural Networks，GGNN）模型，并加入了对预测目标敏感的embedding表示，下面进行介绍。

The Proposed Mothod: TAGNN

Learning Item Embedding

这里使用GGNN完成物品embedding在每个session graph上的传播，具体如下：

公式（1）基于 $t-1$ 时刻（即上一跳，也即邻接节点）得到当前向量的latent embedding，通过 ${\mathbf{A}}_{s,i:}$ 完成邻接节点的聚合，这里数学表达可能稍有问题，需要将 ${\mathbf{A}}_{s,i:}$ 进行stack和sum操作，使之维度保持在 ${\mathbb{R}}^d$ 维度上。

$${\mathbf{a}}_{s,i}^{(t)}={\mathbf{A}}_{s,i:}[v_1^{(t-1)},\cdots ,v_{s_n}^{(t-1)}]\mathbf{H}+\mathbf{b}\text{\hspace{1em}(1)}$$

公式（2）完成重置门（Reset Gate）的计算，得到 ${\mathbb{R}}^d$ 大小的列向量。

$${\mathbf{z}}_{s,i}^{(t)}=\sigma ({\mathbf{W}}_z{\mathbf{a}}_{s,i}^{(t)}+{\mathbf{U}}_z{\mathbf{v}}_i^{(t-1)})\text{\hspace{1em}(2)}$$

公式（3）完成更新门（Update Gate）的计算，得到 ${\mathbb{R}}^d$ 大小的列向量。

$${\mathbf{r}}_{s,i}^{(t)}=\sigma ({\mathbf{W}}_r{\mathbf{a}}_{s,i}^{(t)}+{\mathbf{U}}_r{\mathbf{v}}_i^{(t-1)})\text{\hspace{1em}(3)}$$

公式（4）完成重置向量的计算。

$$\widetilde{{\mathbf{v}}_i^{(t)}}=tanh({\mathbf{W}}_o{\mathbf{a}}_{s,i}^{(t)}+{\mathbf{U}}_o({\mathbf{r}}_{s,i}^{(t)})\odot {\mathbf{v}}_i^{(t-1)}))\text{\hspace{1em}(4)}$$

公式（5）将 ${\mathbf{v}}_i^{(t-1)}$ 与 $1-{\mathbf{z}}_{s,i}^{(t)}$进行 element-wise 乘积运算，${\mathbf{z}}_{s,i}^{(t)}$ 与 $\widetilde{{\mathbf{v}}_i^{(t)}}$ 进行 element-wise 乘积运算得到最终的 $t$ 时刻节点 $i$ 的embedding向量。

$${\mathbf{v}}_i^{(t)}=(1-{\mathbf{z}}_{s,i}^{(t)})\odot {\mathbf{v}}_i^{(t-1)}+{\mathbf{z}}_{s,i}^{(t)}\odot \widetilde{{\mathbf{v}}_i^{(t)}}\text{\hspace{1em}(5)}$$

Generating Session Embeddings

Session Local Embedding

local embedding使用最后一个节点embedding表示，即
$$s_{local}=v_{s,s_n}$$

其中，$s_n$ 表示session $s$ 的长度。

Session Global Embedding

global embedding使用session内所有item的加权之和进行表示，即：
$$s_{global}=\sum _{i=1}^{s_n}{\alpha }_i{\mathbf{v}}_i\text{\hspace{1em}(9)}$$

这里，${\alpha }_i$ 表示注意力权重系数，具体如下：
$${\alpha }_i={\mathbf{q}}^{\mathsf{T}}\sigma ({\mathbf{W}}_1{\mathbf{v}}_{s_n}+{\mathbf{W}}_2{\mathbf{v}}_i+\mathbf{c})\text{\hspace{1em}(8)}$$

这里的 ${\alpha }_i$ 通过当前物品 $v_i$ 与session 最后一个物品$v_{s_n}$ 联合计算得出，用于表示当前物品针对用户最后一个点击物品的重要程度。$\mathbf{q}$ 、${\mathbf{W}}_1$ 、 ${\mathbf{W}}_2$ 、 $\mathbf{c}$ 都是可训练参数。

Session Target Embedding

这里是本文的亮点，实际上就是针对每一个目标候选 $v_{s,s_n+1}$ 进行注意力系数的计算，从而得到不同的目标候选时session内的每个物品对目标的重要性，从而能够得到不同的session embedding表示，也就是$s_{target}^t$。具体计算如下：

$${\beta }_{i,t}=\mathsf{s}\mathsf{o}\mathsf{f}\mathsf{t}\mathsf{m}\mathsf{a}\mathsf{x}(\frac{\exp ({\mathbf{v}}_t^{\mathsf{T}}\mathbf{W}{\mathbf{v}}_i)}{{\sum }_{j=1}^m\exp ({\mathbf{v}}_t^{\mathsf{T}}\mathbf{W}{\mathbf{v}}_j)})\text{\hspace{1em}(6)}$$

这里， ${\beta }_{i,t}$ 表示物品 $i$ 对目标物品 $t$ 的注意力系数大小。其中 $m$ 表示所有session中的物品集合大小，即$m=|V|$，$V$ 表示item集合。

$${\mathbf{s}}_{target}^t=\sum _{i=1}^{s_n}{\beta }_{i,t}\cdot {\mathbf{v}}_{\mathbf{i}}\text{\hspace{1em}(7)}$$

这里可以看到，针对一个目标物体 $t$，产生一个 $s_{target}^t$ ，其中， $t\in [1,2,\cdots ,m]$ 。

Session Embedding

$${\mathbf{s}}_t={\mathbf{W}}_3[s_{target}^t;s_{local};s_{global}]\text{\hspace{1em}(10)}$$

由此，我们可以看到模型的弊端：
模型无法胜任大型数据集，随着数据集中节点个数的增加， $s_{target}^t$ 、${\mathbf{s}}_t$ 线性增加，从而占据较大空间

但是具体占据空间大小还有待验证，欢迎评论区进行讨论。