论文《TAGNN: Target Atentive Graph Neural Networks for Session-based Recommendation》阅读

论文概况

本文是2020年SIGIR上的一篇论文，作者于2019年提出SRGNN，而这篇文章也是在SRGNN上做了稍许改进，提出了TAGNN（Target Atentive Graph Neural Networks）模型。

Introduction

作者提出了几个问题

• 再次批评RNN，和SRGNN中说的一样
• 现有方法只将会话表示成固定向量却没有注意用户对目标物品的喜好程度

对于上述问题，作者提出了TAGNN模型：（1）将离散的会话序列转化为图结构信息来捕获完整的物品转化模式。（2）使用最后一个物品的向量作为用户的兴趣进行会话嵌入（3）用目标物品作为查询向量，生成目标embeding

Method

A.Constructing Session Graphs

一个会话构建一个会话图，会话图中边的权重直接取决于该点所连接的点的数量，一个点的所有边权重和为1。根据会话图可以得到出度矩阵和入度矩阵。

B.Learning Item Embeddings on Session Graphs

下面根据会话图进行物品向量计算，TAGNN认为一个结点的向量与邻接节点向量和自己本身向量有关。首先根据各个节点的向量与节点之间的邻接关系进行聚合。
$${\mathbf{a}}_{s,i}^t={\mathbf{A}}_{s,i:}{\left[{\mathbf{v}}_1^{t-1},\dots ,{\mathbf{v}}_n^{t-1}\right]}^{\top }\mathbf{H}+\mathbf{b}\text{\hspace{1em}(1)}$$
之后计算重置门和更新门，利用循环门控单元来更新节点向量。
$${\mathbf{z}}_{s,i}^t=\sigma \left({\mathbf{W}}_z{\mathbf{a}}_{s,i}^t+{\mathbf{U}}_z{\mathbf{v}}_i^{t-1}\right)\text{\hspace{1em}(2)}$$
$${\mathbf{r}}_{s,i}^t=\sigma \left({\mathbf{W}}_r{\mathbf{a}}_{s,i}^t+{\mathbf{U}}_r{\mathbf{v}}_i^{t-1}\right)\text{\hspace{1em}(3)}$$
$$\widetilde{{\mathbf{v}}_i^t}=\tanh \left({\mathbf{W}}_o{\mathbf{a}}_{s,i}^t+{\mathbf{U}}_o\left({\mathbf{r}}_{s,i}^t\odot {\mathbf{v}}_i^{t-1}\right)\right)\text{\hspace{1em}(4)}$$
$${\mathbf{v}}_i^t=\left(1-{\mathbf{z}}_{s,i}^t\right)\odot {\mathbf{v}}_i^{t-1}+{\mathbf{z}}_{s,i}^t\odot {\tilde{\mathbf{v}}}_i^t\text{\hspace{1em}(5)}$$

C.Constructing Target-Aware Embedding

这里是TAGNN相对于SRGNN的创新点，将目标物品作为查询向量，使用注意力机制来计算目标物品与用户兴趣的相关度
$${\beta }_{i,t}=\mathrm{softmax}\left(e_{i,t}\right)=\frac{\exp \left({\mathbf{v}}_t^{\top }W{\mathbf{v}}_i\right)}{{\sum }_{j=1}^m\exp \left({\mathbf{v}}_t^{\top }W{\mathbf{v}}_j\right)}\text{\hspace{1em}(6)}$$
$$s_{\text{target }}^t=\sum _{i=1}^{s_n}{\beta }_{i,t}{\mathbf{v}}_i\text{\hspace{1em}(7)}$$

D.Generating Session Embeddings

利用注意力机制将最后一个物品当作用户当前兴趣，生成整个会话的会话嵌入。
$${\alpha }_i={\mathbf{q}}^{\top }\sigma \left({\mathbf{W}}_1{\mathbf{v}}_n+{\mathbf{W}}_2{\mathbf{v}}_i+\mathbf{c}\right)\text{\hspace{1em}(8)}$$
$${\mathbf{s}}_{\mathrm{g}}=\sum _{i=1}^n{\alpha }_i{\mathbf{v}}_i\text{\hspace{1em}(9)}$$
将得到的目标嵌入与长期兴趣与当前兴趣拼接再降维。
$$s_t=W_3\left[s_{\text{target }}^t;s_{\text{local }};s_{\text{global }}\right]\text{\hspace{1em}(10)}$$

E.Making Recommendation and Model Training

将得到的会话嵌入与相应的物品向量做乘积，再通过softmax得到推荐结果
$$\widehat{z_t}=s_t^{\top }{\mathbf{v}}_t\text{\hspace{1em}(11)}$$
$$\hat{\mathbf{y}}=\mathrm{softmax}(\hat{\mathbf{z}})\text{\hspace{1em}(12)}$$
使用交叉熵定义损失函数
$$\hat{\mathbf{y}}=\mathrm{softmax}(\hat{\mathbf{z}})\mathcal{L}(\hat{\mathbf{y}})=-\sum _{i=1}^m{\mathbf{y}}_i\log \left({\hat{\mathbf{y}}}_i\right)+\left(1-{\mathbf{y}}_i\right)\log \left(1-{\hat{\mathbf{y}}}_i\right)\text{\hspace{1em}(13)}$$

总结

TAGNN在SRGNN基础上做了少许改动，考虑了目标物品的影响。但在物品较多的数据中，目标嵌入的计算量很大，每一个物品都要与会话中的项目进行注意力计算。且该模型还是在SRGNN的一个扩展，我认为可借鉴意义不大。