论文笔记：AAAI 2019 Session-based Recommendation with Graph Neural Networks

前言

在某些序列推荐系统中，一个用户-项目交互序列包括多个子序列(也称为会话)。在这种情况下，除了当前子序列中先前的交互作用外，历史子序列还可能影响当前子序列中预测的下一个用户-项目交互作用。

基于会话的推荐问题旨在基于会话预测用户的行为，以前的相关方法将会话建模为序列，并通过对用户表示进行学习来完成推荐。这些方法虽然取得了令人满意的结果，但它们不足以在会话中获得准确的用户表示，并忽略了复杂的物品表示转换。为了获得准确的物品嵌入和考虑物品表示的复杂转换，本文提出了一种基于会话的GNN网络模型。在 SR-GNN 中，会话序列被建模成图结构数据，基于会话图，GNN可以捕获复杂的物品间的复杂联系。具体来说通过一个全局和局部的注意力网络完成任务。

论文链接：https://export.arxiv.org/pdf/1811.00855
github：https://github.com/CRIPAC-DIG/SR-GNN

1. Introduction

本文提出的 SR-GNN 主要用于探究物品之间复杂联系和生成准确的物品特征嵌入。对于基于会话的推荐，SR-GNN 首先从历史会话序列构造有向图。基于会话图，GNN 能够捕获物品的转换，并相应地生成准确的项目嵌入向量，这是传统顺序方法如基于 mc 和基于 RNN 的方法难以实现的。基于精确的物品嵌入向量，SR-GNN 构建了更可靠的会话表示，可以推断下一个点击物品的概率。

SR-GNN 的框架如图所示

首先，将所有会话序列建模为有向会话图，其中每个会话序列可以被视为一个子图。然后依次处理每个会话图，通过门控图神经网络得到每个会话图中所有节点的嵌入。然后，我们将每个会话表示为用户在该会话中的全局偏好和当前兴趣的组合，其中这些全局和局部会话嵌入都由节点的嵌入组成。最后，对于每个会话，预测每个物品被下一次点击的概率。这项工作的主要贡献总结如下:

• SR-GNN 将分离的会话序列建模为图结构数据，并使用图神经网络来捕获复杂的物品关系。它为基于会话的推荐场景中的建模提供了一个新颖的视角。
• 为了生成基于会话的推荐，SR-GNN 不依赖于用户表示，而是使用会话嵌入，它可以仅仅根据每个会话中涉及的物品嵌入来得到推荐结果。
• 在真实数据集上进行的大量实验表明，SR-GNN的性能明显优于最先进的方法。

2. SR-GNN

基于会话的推荐旨在预测用户下一步将点击哪个物品，仅根据用户当前的连续会话数据，而不根据长期偏好。在基于会话的推荐系统中，设置 V = { v 1 , v 2 , ⋯   , v m } V=\{v_1,v_2,\cdots,v_m\} V={v1​,v2​,⋯,vm​} 代表在所有会话中出现的物品集合。基于时间步的匿名会话序列可以表示为 $s=[v_{s,1},v_{s,2},\cdots ,v_{s,n}]$，其中 $v_{s,i}\in V$ 代表在会话 $s$ 中被用户点击的一个物品。基于会话的推荐系统的目标是预测下一次的点击，具体来说就是预测 $v_{s,n+1}$ 的物品种类标签。在基于会话的推荐系统中，对于会话 $s$，输出一个对于所有可能物品的概率矩阵 $\hat{y}$，其中的每一个值对应于与每一个物品产生交互的概率。在 $\hat{y}$ 中的 $top-K$ 个将成为推荐的结果。

2.1 Constructing Session Graphs

每一个会话可以被建模成一个有向图 ${\mathcal{G}}_s=({\mathcal{V}}_s,{\mathcal{E}}_s)$。在会话图中，每一个节点表示一个物品 $v_{s,i}\in V$，每一条边 $(v_{s,i-1},v_{s,i})\in {\mathcal{E}}_s$ 代表一个用户在点击物品 $v_{s,i-1}$ 后点击的物品 $v_{s,i}$。考虑到同一个物品可能多次出现在会话图中，因此在构建会话图的时候为每一个边增加一个标准化的权重，它的计算方法是边的出现次数除以该边的起始节点的外度。SR-GNN 将每一个物品 $v\in V$ 嵌入到相同的特征空间，节点向量 $\mathbf{v}\in {\mathbb{R}}^d$ 代表 GNN 从会话图中学习到的节点表示，其中 $d$ 代表维度。基于节点向量，每一个会话 $s$ 可以被表示为一个嵌入 $\mathbf{s}$，$\mathbf{s}$ 由图中的每一个节点组成

2.2 Learning Item Embeddings on Session Graphs

通过上面构造图的方法可知会话图的几种特点：有向，边加权，多个会话序列子图。此篇文章中作者所采用的 GNN 方法主要是基于门控图神经网络实现的，实现过程如下：
$${\mathbf{a}}_{s,i}^t={\mathbf{A}}_{s,i:}[{\mathbf{v}}_1^{t-1},\cdots ,{\mathbf{v}}_n^{t-1}{]}^T\mathbf{H}+\mathbf{b}\text{\hspace{1em}(1)}$$
$${\mathbf{z}}_{s,i}^t=\sigma ({\mathbf{W}}_z{a}_{s,i}^t+{\mathbf{U}}_z{\mathbf{v}}_i^{t-1})\text{\hspace{1em}(2)}$$
$${\mathbf{r}}_{s,i}^t=\sigma ({\mathbf{W}}_r{a}_{s,i}^t+{\mathbf{U}}_r{\mathbf{v}}_i^{t-1})\text{\hspace{1em}(3)}$$
$$\widetilde{{\mathbf{v}}_i^t}=tanh({\mathbf{W}}_o{a}_{s,i}^t+{\mathbf{U}}_o({\mathbf{r}}_{s,i}^t\odot {\mathbf{v}}_i^{t-1}))\text{\hspace{1em}(4)}$$
$${\mathbf{v}}_i^t=(1-{\mathbf{z}}_{s,i}^t)\odot {\mathbf{v}}_i^{t-1}+{\mathbf{z}}_{s,i}^t\odot \widetilde{{\mathbf{v}}_i^t}\text{\hspace{1em}(5)}$$
其中 $\mathbf{H}\in {\mathbb{R}}^{d\times 2d}$ 代表权重矩阵。${\mathbf{z}}_{(s,i)}$ 和 ${\mathbf{r}}_{s,i}$ 分别代表更新门和重置门，$[{\mathbf{v}}_1^{t-1},\cdots ,{\mathbf{v}}_n^{t-1}]$ 代表会话 $s$ 中的节点向量列表，$\sigma (\cdot )$ 代表 sigmoid 函数。$\odot$ 代表矩阵点积。${\mathbf{v}}_i\in {\mathbb{R}}^d$ 代表节点 $v_{s,i}$ 的嵌入。连接矩阵 $A_s\in {\mathbb{R}}^{n\times 2n}$ 代表图中的节点如何与其他节点相连，${\mathbf{A}}_{s,i}\in {\mathbb{R}}^{1\times 2n}$ 代表在连接矩阵 ${\mathbf{A}}_s$ 中与节点 $v_{s,i}$ 关联的两列。

在这里 ${\mathbf{A}}_{\mathbf{s}}$ 被定义成两邻接矩阵 ${\mathbf{A}}_s^{(out)}$ 和 ${\mathbf{A}}_s^{(in)}$ 的级联， 分别表示会话图中出边和入边的加权连接。举例来说，假设一个会话 $s=[v_1,v_2,v_3,v_2,v_4]$，则关联图 ${\mathcal{G}}_s$ 和 矩阵 ${\mathbf{A}}_{\mathbf{s}}$ 表示如下：

如果使用不同的构建会话图的策略，连接矩阵 ${\mathbf{A}}_{\mathbf{s}}$ 将会相应改变。此外，当节点存在描述信息、类别信息等内容特征时，该方法还可以进一步推广。具体来说，可以用节点向量连接特征来处理这些信息。

对于每一个会话图 ${\mathcal{G}}_s$，门控图神经网络可以同时处理这些节点。（1）式用于在会话图邻接矩阵 ${\mathbf{A}}_{\mathbf{s}}$ 的连接限制条件下图中节点的信息传播。具体来说，它提取了邻域的特征，并将其输入到图神经网络中。然后，更新门和重置门分别决定保留和丢弃哪些信息。之后， SR-GNN 根据前面的状态、当前状态和重置们信号构造候选状态，如（4）所述。最后的状态是前一个隐藏状态和候选状态的组合，在更新门的控制下。在更新会话图中的所有节点直到收敛后，可以得到最终的节点向量。

2.3 Generating Session Embeddings

在得到图中节点的特征嵌入后，我们还需要根据此得到整个会话的特征嵌入。以前的基于会话的推荐方法总是假设每个会话都有一个明显的潜在用户表示。相反，本文提出的 SR-GNN 方法没有对该向量做任何假设。会话直接由会话中涉及的节点表示。为了更好地预测用户的下一步点击，本文提出了一种策略，将会话的长期偏好和当前兴趣结合起来，并将这种组合嵌入作为会话嵌入。

我们的最终目标是得到每个会话的特征嵌入 $s\in {\mathbb{R}}^d$，首先考虑当前对于会话 $s$ 的局部嵌入 ${\mathbf{s}}_{\mathbf{l}}$。对于一个会话 $s=[v_{s,1},v_{s,2},\cdots ,v_{s,n}]$，则局部嵌入可以被简单定义为最终的交互对象 $v_{s,n}$ 的特征 ${\mathbf{s}}_{\mathbf{l}}={\mathbf{v}}_n$。

之后考虑该会话图 ${\mathcal{G}}_s$ 的全局特征 ${\mathbf{s}}_{\mathbf{g}}$，全局特征可以通过聚合所有节点特征向量得到。考虑到这些嵌入中的信息可能具有不同的优先级，我们进一步采用软注意机制来更好地表示全局会话偏好:

$$\begin{gathered} {\alpha }_i={\mathbf{q}}^{\mathbf{T}}\sigma ({\mathbf{W}}_1{\mathbf{v}}_n+{\mathbf{W}}_2{\mathbf{v}}_i+\mathbf{c}) \\ {\mathbf{s}}_{\mathbf{g}}=\sum _{i=1}^n{\alpha }_i{\mathbf{v}}_i\text{\hspace{1em}(6)} \end{gathered}$$
其中 $\mathbf{q}\in {\mathbb{R}}^d$ 和 ${\mathbf{W}}_1,{\mathbf{W}}_2\in {\mathbb{R}}^{d\times d}$ 控制物品嵌入的权重。

这里感觉文中给出的公式怪怪的，难道考虑全局嵌入就只是考虑目标节点和最后点击节点的注意力权重？？？还有 c 代表偏置？？？，具体可能要看一看源码来理解，如果我的理解有误欢迎指出

最终通过对局部和全局的嵌入向量的级联进行线性变化得到了混合嵌入 ${\mathbf{s}}_{\mathbf{h}}$
$${\mathbf{s}}_{\mathbf{h}}={\mathbf{W}}_3[{\mathbf{s}}_{\mathbf{l}};{\mathbf{s}}_{\mathbf{g}}]\text{\hspace{1em}(7)}$$
其中 ${\mathbf{W}}_3\in {\mathbb{R}}^{d\times 2d}$ 代表线性变换的权重矩阵

2.4 Making Recommendation and Model Training

在得到了每个会话的嵌入后，可以根据此计算出对于物品集中所有物品下一次点击的预测分数 $\widehat{{\mathbf{z}}_i}$，具体来说就是通过该物品的特征嵌入和会话特征嵌入得到
$$\widehat{{\mathbf{z}}_i}={\mathbf{s}}_{\mathbf{h}}^{\mathbf{T}}{\mathbf{v}}_i\text{\hspace{1em}(8)}$$
基于此可以得到每个物品的点击预测概率，也就是最终的输出
$$\hat{y}=softmax(\hat{\mathbf{z}})\text{\hspace{1em}(9)}$$

其中 $\hat{\mathbf{z}}\in {\mathbb{R}}^m$ 代表全部物品的推荐分数，$\hat{\mathbf{y}}\in {\mathbb{R}}^m$ 代表基于会话 $s$ 所有物品下一次被点击的概率预测。在模型训练过程中选择交叉熵损失函数，可表示为：
$$\mathcal{L}(\hat{\mathbf{y}})=-\sum _{i=1}^m{\mathbf{y}}_{i}log(\widehat{{\mathbf{y}}_i})+(1-{\mathbf{y}}_i)log(1-\widehat{{\mathbf{y}}_i})\text{\hspace{1em}(10)}$$
其中 $\mathbf{y}$ 是讲过 one-hot 编码的向量。最后，文中使用反向传播时间(BPTT)算法来训练所提出的 SR-GNN 模型。在基于会话的推荐场景中，大多数会话的长度都相对较短。因此，建议选择相对较少的训练步骤，防止过拟合。

3. Experiments