【论文阅读 SAGLG】Self-Attentive Graph Convolution Network With Latent Group Mining and Collaborative ……

Self-Attentive Graph Convolution Network With Latent Group Mining and Collaborative Filtering for Personalized Recommendation

论文链接：https://ieeexplore.ieee.org/document/9531473（可能需要付费下载）

Abstract

  机器学习的显著进步导致了一些最先进个性化推荐算法的出现。之前的推荐算法一般都是根据用户-item评分矩阵学习用户和item的表示。然而，这种方法只考虑了用户自己的偏好，忽略了用户的社交圈的影响。该文提出了一种新的推荐算法，Self-Attentive Graph Convolution Network With Latent Group Mining and Collaborative Filtering for Personalized Recommendation，由隐群组挖掘（LGM）模块、协同嵌入（CE）模块和自注意力图卷积（SAGC）模块组成。LGM模块通过探索用户的潜在群组分析用户的社交UAN，为用户和item生成群组嵌入。CE模块使用图嵌入方法为用户和item提供语义协同嵌入。SAGC模块通过一个自注意力图卷积网络融合用户（item）协同嵌入和群组嵌入来了解他们的细粒度表示以做出评分预测。

---

1. INTRODUCTION

  个性化推荐——基于机器学习的应用之一，已经受到工业界和学术界越来越多的关注，即根据用户之前的表现如购买或点击，估计一个用户对一个item将会展示兴趣的可能性。个性化推荐的一个基本任务是仅使用一个用户-item评分矩阵（以下简称评分矩阵）来计算用户与item之间的相似性的分数，以对item排名并生成top-n的推荐列表。例如，基于协同过滤的推荐算法（CF）利用一个评分矩阵来挖掘相似的用户评分行为以实现评分估计。
  为了充分利用评分矩阵，有两种广泛使用的方法。一种是矩阵分解（MF），使用用户表示和item表示的内积来近似估计推荐的缺失评分。Yang等人将评分矩阵划分为几个局部矩阵，设计加权矩阵分解方法来融合每个局部矩阵的近似值。He等人将多层感知机和矩阵分解相结合来学习用户和item的表示。然而这些方法主要侧重于用户和item之间的显式交互，但忽略了一些隐式交互，例如 “用户 $u_1$ - item $i_1$ - 用户 $u_2$ - item $i_2$” ，表明 $u_1$ 可能选择 $i_2$ ，因为和 $u_1$ 有相同偏好 $i_1$ 的 $u_2$ 此前选择了 $i_1$。
  另一种基于图的方法，首先基于一个评分矩阵构建一个用户-item二部图（以下简称二部图），然后应用各种操作，比如图卷积网络（GCN），来学习用户和item的表现。这些方法通过将显式交互和隐式交互都考虑进来解决了MF方法的问题。例如Gao等人区分了二部图上用户和item之间的显式交互和隐式交互，提出了一个用于学习用户和item表示的联合优化框架。Wang等人设计了一个新的GCN方法，在一个二部图上传播用户和item的嵌入来为了top-n推荐学习他们的表示。
  然而，大多数现存的推荐方法只考虑使用用户的偏好来学习他们的表示，忽略了用户社交圈的影响。总的来说，社会性是人类最重要和最基本的属性。用户的选择不仅受他们自己的偏好驱动，还被他们的社交圈所影响。图1(a) 和 (b) 中引入了两种不同的动机。在图1(a)中，用户仅仅基于用户自己的偏好来选择item。在图1(b)中，每个用户加入了多个群组，每个群组的成员可能共同决定买一个item。例如，用户1、用户2和用户3都是群组1的成员，群组1决定买item5。因此这些用户将会买item5。在这方面，可能不仅需要分析人们自己的偏好，还需要将人们参与的群组考虑进来。出于这种考虑，提出了一个群组挖掘明星来挖掘用户的社交性。然而，由于没有用户真正的社交圈的信息，必须假设一些潜在的群体，并提出一个基于随机游走的策略来探索用户和item的潜在群组。

  此外，GCN方法最初是在属性图上提出的，其中每个节点都有嵌入了具体的语义。然而，在个性化推荐任务中，每个用户节点和item节点仅通过一个one-hot嵌入来描述。为了解决这个问题，我们需要在二部图为每个节点上生成一个带有具体语义的嵌入。基于上述考虑，提出了一个模块来挖掘非属性图的节点见一些潜在语义关系，并在使用GCN方法学习其表示之前为节点提供语义嵌入。
  为了解决上述两个问题，该文设计了一个具有潜在群组挖掘和协同过滤的自注意力图卷积网络（SAGLG），由三个部分组成：潜在群组挖掘（LGM）模块，协同嵌入模块（CE）和自注意力图卷积（SAGC）模块。具体来说，LGM模块被设计用来探索每个用户和每个item的潜在群组。首先根据他们的PageRank值选择一些有代表性的用户和item，利用具有重新启动的随机游走方法来获得他们最相关的用户和item来构建群组。然后基于他们的潜在群组计算用户和item的群组嵌入。在CE模块，文中建议利用图嵌入方法来生成用户节点和item节点的语义协同嵌入。最后SAGC模块将用户（item）的协同嵌入和用户（item）的群组嵌入连接起来作为该模块的输入以学习用户和item的细粒度表示，从而预测用户对item的评分。该文在现实世界数据集：MovieLens和EachMovie上进行了实验。本文贡献总结如下：

• 提出了SAGLG算法融合用户和item的协同嵌入和群组嵌入来预测用户对item的评分。
• 提出了LGM模块，用于探索用户和item的潜在群组，生成他们的群组嵌入，以便根据他们的社交圈很好地描述用户的偏好。
• 提出了CE模块通过图嵌入方法为每个用户和item生成了具有具体语义的协同嵌入。
• 提出了SAGC模块用于将协同嵌入和群组嵌入都考虑进来以学习用户和item的细粒度表示。
• 将SAGLG和SOTA算法进行比较，验证SAGLG的优越性。

  文章组织结构：第二部分简要介绍了相关工作。第三部分展示SAGLG算法的细节。第四部分介绍所做实验。第五部分论文总结和一些讨论。

---

2. RELATED WORK

  此部分回顾了基于图的推荐系统、图嵌入算法和注意力机制相关工作。
  基于图的推荐方法基于所有可用实体和他们之间的交互来构建图。有两种典型的基于图的方法。第一种是基于随机游走的放啊，在图上随机游走来发现每个用户节点和每个item节点之间的路径，从而发现他们之间的关系。Lei等人提出了一个对话式推荐框架，该框架将会话转换为用户-item属性图中的一个路径，以挖掘实体之间的潜在关系。Mo等人提出了一个新的反向重启随机游走，从异构图的item节点开始游走进行事件推荐，解决了悬空节点的问题。第二种是基于图神经网络的方法，利用神经网络基于图的结构来学习每个实体的表示。Palumbo等人设计一个entity2rec算法，该算法基于交互的属性将知识图划分为若干个子图，并学习交互的特定属性表示以预测用户对item的评分。Xu等人分别通过图卷积网络将用户-item二部图转换为用户-用户同构图来学习用户的表示，item-item同构图来学习item的表示。
  图嵌入方法基于图的结构来学习节点的嵌入，确保如果图上的两个节点很近，他们的表示在嵌入空间中也会很近。Grover等人提出了同构图嵌入算法，node2vec，设计了一种有随机游走来发现邻居节点，基于word2vec的框架学习节点的嵌入。Kipf等人在同构图上提出了一个新的GCN框架，融合了图的结构和实体的特征来学习实体的表示。除了在同构图上应用图嵌入外，Dong等人介绍了一个异构图的模型：metapath2vec，该模型设计了一些元路径来指导随机游走以生成每个实体的邻居，学习他们的表示来进行可解释的推荐。虽然图嵌入方法在学习节点表示方面表现出色，但很少有人能注意利用这些表示来增强推荐的性能。
  注意力机制通常用于衡量用户和item的影响，捕获他们在推荐任务中的突出表现。Zhu等人利用两个不同域的信息来提高嵌入学习的质量，设计一个基于元素的注意力网络来捕获哪个域的信息是突出的。Wang等人提出一个注意力嵌入传播模型从显式和隐式数据中选择一些信息更丰富的部分，来改进用户和item的表示。Niu等人提出一个用于电子商务商店搜索的双异构图注意力网络（DHGAT），通过注意力网络分别学习查询和商店的表示。

---

3. THE SAGLG ALGORITHM

  图2表示SAGLG算法的架构，分为三个部分：潜在群组挖掘模型发现用户和item的潜在群组来计算他们的群组嵌入；协同嵌入模块学习用户和item的协同嵌入；自注意力图卷积模块融合用户（item）的群组嵌入和协同嵌入来学习用户（item）的表示以预测用户对item的评分。

3.1 The Latent Group Mining Module

  潜在群组挖掘模块是通过在二部图上基于随机游走的策略来探索潜在群组和为每个用户和item生成群组嵌入。二分图可以表示为 $G=(U\cup I,E)$，其中 $U$ 为用户集合，$I$ 代表item集合，$E$ 表示用户和item之间边的集合。具体地说，只有当用户 $u_m$ 对item $i_n$ 有评分时，在 $E$ 中有一条边 $(u_m,i_n)$ 连接了一个用户 $u_m$ 和一个item $i_n$。
  在二部图 $G$ 中，定义了一些具有最高影响的代表性用户-item对作为构建潜在群组的锚点。为了衡量每个用户-item对的影响，使用了PageRank方法来将这个任务转换成节点收敛概率计算问题。设包含 $M$ 个用户和 $N$ 个item $G$ 的关联矩阵为 $\mathbf{A}\in {\mathbb{R}}^{M\times N}$，其中 $\mathbf{A}(m,n)=1$ 表示用户 $u_m$ 对item $u_n$ 有评分；其余 $\mathbf{A}(m,n)=0$。设 ${\mathbf{P}}_{UI}$ 和 ${\mathbf{P}}_{IU}$ 表示用户和item之间的概率转移矩阵，分别由行规范矩阵 $\mathbf{A}$ 和 ${\mathbf{A}}^T$ 计算得出。
  在锚点选择过程中，首先分别为用户和item随机初始化两个概率向量 ${\mathbf{u}}^{(0)}$ 和 ${\mathbf{i}}^{(0)}$。接下来在图 $G$ 上使用随机游走算法来获得每个用户和每个item的收敛概率，计算方式如下：
$${\mathbf{u}}^{(t+1)}=(1-\alpha )\cdot {\mathbf{P}}_{IU}{\mathbf{i}}^{(t)}+\alpha \cdot \frac{1}{|U|}$$
$${\mathbf{i}}^{(t+1)}=(1-\alpha )\cdot {\mathbf{P}}_{UI}{\mathbf{u}}^{(t)}+\alpha \cdot \frac{1}{|I|}$$
其中 $|U|$ 和 $|I|$ 是用户和item的数量，${\mathbf{u}}^{(t)}$ 和 ${\mathbf{i}}^{(t)}$ 是第 $t$ 次随机游走迭代后用户概率向量和item概率向量，$\alpha$ 代表随机访问的可能性。根据他们的收敛概率选择top-$K$用户和top-$K$ item作为锚点用户和item，将用户锚点和item锚点随机组对形成一共$K$个锚点。
  选择 $K$ 个锚点后，应用RWR（重启随机游走） 算法将每个用户和item分配给他们最相关的锚点以构建潜在群组。以一个锚点 $(u_a,i_a)$ 为例，首先设置锚点用户 $u_a$ 作为一个查询节点来找出与它最相关的用户。对于这个查询节点，用户查询向量定义为 ${\mathbf{q}}_u$，其中 ${\mathbf{q}}_u(a)=1$，当 $j\ne a$ 时 ${\mathbf{q}}_u(j)=0$。其他用户收敛概率可以如下计算：
$${\mathbf{u}}^{(t+1)}=(1-\beta )\cdot {\mathbf{P}}_{IU}{\mathbf{i}}^{(t)}+\beta \cdot {\mathbf{q}}_u$$
$${\mathbf{i}}^{(t+1)}={\mathbf{P}}_{UI}{\mathbf{u}}^{(t)}$$
其中 $\beta$ 代表返回查询用户节点 $u_a$ 的概率，$1-\beta$ 是从当前item走到下一个用户的概率。
  当两次迭代的节点概率的差值小于预先设定的阈值时，迭代终止。迭代过后，每个锚点用户获得一个用户收敛概率向量 ${\mathbf{p}}_{u_a}=(p(u_1),\cdots ,p(u_N))$ 其中每个元素 $p(u_i)$ 可以视为 $u_a$ 和 $u_i$ 之间的相关分数。
  通过同样的方式，设置锚点item $i_a$ 作为重启节点，使用RWR来发现具有最高收敛概率的最相关的item。设 ${\mathbf{p}}_{i_a}=(p(i_1),\cdots ,p(i_M))$ 表示一个item的收敛概率向量，其中每个 ${\mathbf{p}}_{i_a}$ 表示锚点item $i_a$ 和其他item之间的相关分数。${\mathbf{p}}_{i_a}$ 可以通过如下方式计算：
$${\mathbf{u}}^{(t+1)}={\mathbf{P}}_{IU}{\mathbf{i}}^{(t)}$$
$${\mathbf{i}}^{(t+1)}=(1-\beta )\cdot {\mathbf{P}}_{UI}{\mathbf{u}}^{(t)}+\beta \cdot {\mathbf{q}}_i$$
其中 ${\mathbf{q}}_i$ 为item查询向量：${\mathbf{q}}_i(a)=1$，当 $j\ne a$ 时 ${\mathbf{q}}_{i}s(j)=0$。
  基于相关分数，构建了两个矩阵 ${\mathbf{S}}_u\in {\mathbb{R}}^{K\times M}$ 和 ${\mathbf{S}}_i\in {\mathbb{R}}^{K\times M}$，分别代表了锚点用户和其他用户之间的相关性以及锚点item和其他item的相关性。${\mathbf{S}}_u$ 的第 $a$ 行是对于锚点用户 $u_a$ 的用户收敛概率向量，${\mathbf{S}}_i$ 的第 $a$ 行是对于锚点item $i_a$ 的item收敛概率向量。为了为每个锚点选择最相关的用户和item，预先设定了一个缩放控制阈值 $\mu \in (0,1)$，意味着用户或item只能被分配到 $\mu \times K$ 个组中。以用户 $u_m$ 为例，将 $u_m$ 定义为 ${\mathbf{S}}_u$ 第 $m$ 列以元素值降序排列前 $\mu \times K$ 个锚点的邻居。用同样的方式为item $i_n$ 选择 $\mu \times K$ 个锚点。最后，构建 $K$ 个潜在群组 { g a = { ( u , i ) ∣ u ∈ U a , i ∈ I a } } a = 1 K \{g_a=\{(u,i)|u\in U_a,i\in I_a\}\}^K_{a=1} {ga​={(u,i)∣u∈Ua​,i∈Ia​}}a=1K​，其中 $U_a$ 和 $I_a$ 分别代表锚点 $(u_a,i_a)$ 的用户邻居和item邻居。
  在探索潜在群组之后，随机初始化每个潜在群组 $g_j$ 的社交嵌入 ${\mathbf{e}}_{s_j}\in {\mathbb{R}}^d$。用户 $u_m$ 的群组嵌入是通过平均其潜在群组的社交嵌入获得的。设 C m u = { g 1 , g 2 , ⋯   , g k } C^u_m=\{g_1,g_2,\cdots,g_k\} Cmu​={g1​,g2​,⋯,gk​} 表示用户 $u_m$ 属于的潜在群组的集合，用户 $u_m$ 的群组嵌入 ${\mathbf{e}}_{u_m}^g$ 计算如下：
$${\mathbf{e}}_{u_m}^g=\frac{1}{|C_m^u|}\sum _{g_j\in C_m^u}{\mathbf{e}}_{s_j}$$
相似地，可以通过
$${\mathbf{e}}_{i_n}^g=\frac{1}{|C_n^i|}\sum _{g_k\in C_n^i}{\mathbf{e}}_{s_k}$$
得到每个item的群组嵌入 ${\mathbf{e}}_i^g$，其中 C n i = { g 1 , g 2 , ⋯   , g l } C^i_n=\{g_1,g_2,\cdots,g_l\} Cni​={g1​,g2​,⋯,gl​} 代表item $i_n$ 的潜在群组集合。

3.2 The Collaborative Embedding Module

  协同嵌入模块是设计用来为用户和item提供予语义嵌入的。在这个模块中，提出使用node2vec方法生成嵌入，该嵌入使用带有偏置的随机游走从二部图中获得一些节点序列。之后将滑动窗口应用于节点序列以获得节点 $v\in V=U\bigcup I$ 的邻居 ${\mathcal{N}}_s(v)$。对于每个节点 $v$，首先随机初始化其嵌入 ${\mathbf{e}}_v^c\in {\mathbb{R}}^d$。接着通过最大化如下的目标函数学习节点嵌入：
$$\sum _{v\in V}\left[-\text{log}{Z}_v+\sum _{n_i\in {\mathcal{N}}_s(v)}{\mathbf{e}}_{n_i}^c\cdot {\mathbf{e}}_v^c\right]$$
其中 $Z_v={\sum }_{m\in V}\text{exp}({\mathbf{e}}_m^c\cdot {\mathbf{e}}_v^c)$，使用随机梯度下降方法优化目标函数。最后，定义这种嵌入为用户和item的协同嵌入。

3.3 The Self-Attentive Graph Convolution Module

  自注意力图卷积模块被提出用来学习用户和item的表示。这个模块融合用户（item）的协同嵌入和群组嵌入，利用自注意力机制在聚合邻居的表示时衡量不同邻居的影响。
  首先分别通过串联用户的协同嵌入 ${\mathbf{e}}_u^c$ 和用户的群组嵌入 ${\mathbf{e}}_u^g$ 以及串联item的协同嵌入 ${\mathbf{e}}_i^c$ 和item的群组嵌入 ${\mathbf{e}}_i^g$ 构造一个初始用户表示 ${\mathbf{e}}_u^{(0)}$ 和一个初始item表示 ${\mathbf{e}}_i^{(0)}$，定义如下：
$${\mathbf{e}}_u^{(0)}={\mathbf{e}}_u^c||{\mathbf{e}}_u^g$$
$${\mathbf{e}}_i^{(0)}={\mathbf{e}}_i^c||{\mathbf{e}}_i^g$$
接着设计了一个 $L$ 层的自注意力图卷积网络来聚合节点邻居和自身的表示，以生成新的节点表示。在聚合过程中，利用自注意力机制衡量节点自身和其邻居的影响力。以用户 $u$ 为例，经过 $l$ 层后，用户表示 ${\mathbf{u}}_u^{(l)}$ 计算如下：
$${\mathbf{e}}_u^{(l)}=\sigma \left({\mathbf{m}}_{u\leftarrow u}^{(l-1)}+\sum _{i\in {\mathcal{N}}_u}{\mathbf{m}}_{u\leftarrow i}^{(l-1)}\right)$$
其中 $\sigma (\cdot )$ 为ELU激活函数，${\mathcal{N}}_u$ 为在图 $G$ 上用户的一跳邻居，${\mathbf{m}}_{u\leftarrow u}$ 和 ${\mathbf{m}}_{u\leftarrow i}$ 分别为自身和其邻居的消息表示。
  具体来说，这两种消息表示的定义如下：
$${\mathbf{m}}_{u\leftarrow u}^{(l-1)}={\alpha }_{uu}\cdot {\mathbf{W}}_1^l{\mathbf{e}}_u^{(l-1)}$$
$${\mathbf{m}}_{u\leftarrow i}^{(l-1)}={\alpha }_{ui}({\mathbf{W}}_1^l{\mathbf{e}}_i^{(l-1)}+{\mathbf{W}}_2^l({\mathbf{e}}_i^{(l-1)}\odot {\mathbf{e}}_u^{(l-1)}))$$
其中 ${\mathbf{W}}_1$ 和 ${\mathbf{W}}_2$ 为可训练参数，$\odot$ 为Hadamard乘积，${\alpha }_{uu}$ 和 ${\alpha }_{ui}$ 是表示两种不同消息表示的影响权重的注意力得分。具体来说，注意力分数由如下的一层自注意力网络计算：
$${\alpha }_{uj}=\frac{exp(\delta (\mathbf{a}[{\mathbf{W}}_3{\mathbf{e}}_u||{\mathbf{W}}_3{\mathbf{e}}_j]))}{{\sum }_{k\in {\mathcal{N}}_u}exp(\delta (\mathbf{a}[{\mathbf{W}}_3{\mathbf{e}}_u||{\mathbf{W}}_3{\mathbf{e}}_k]))}$$
其中 ${\mathbf{W}}_3$ 和 $\mathbf{a}$ 是可训练的参数，$\delta (\cdot )$ 为LeakyReLU激活函数。
  最后，利用平均池层来平均这个模块中每层的输出，以获得最终的用户 $u$ 的表示 ${\mathbf{e}}_u^{\ast }$，定义如下：
$${\mathbf{e}}_u^{\ast }=meanpooling({\mathbf{e}}_u^{(1)},{\mathbf{e}}_u^{(2)},\cdots ,{\mathbf{e}}_u^{(L)})$$
也可以通过同样的操作计算item的最终表示 ${\mathbf{e}}_i^{\ast }$。
  得到最终的用户和item表示后，使用如下的内积来计算用户在目标item上的预测评分：
$$\hat{y}(u,i)={{\mathbf{e}}_u^{\ast }}^T{\mathbf{e}}_i^{\ast }$$

3.4 Optimizaton

  本文中，如果用户对item进行了评分，将用户-item对定义为正交互；否则将用户-item对定义为负交互。在SAGLG算法中使用贝叶斯个性化排序（Bayesian Personalized Ranking，BPR）损失来学习参数，它假设正交互的预测分数应当比负交互高。BPR损失的损失函数定义如下：
$$Loss=-\sum _{m=1}^M\sum _{i_k\in {\mathcal{Q}}_m^{+}}\sum _{i_j\in {\mathcal{Q}}_m^{-}}In\varphi (\hat{y}(u_m,i_k)-\hat{y}(u_m,i_j))+\lambda \Vert \theta {\Vert }^2$$
其中 ${\mathcal{Q}}_m^{+}$ 和 ${\mathcal{Q}}_m^{-}$ 分别表示用户 $u_m$ 正交互和负交互的集合，$\lambda$ 为控制 $L_2$ 正则化强度的参数，$\varphi (\cdot )$ 为sigmoid函数，$\theta$ 表示所有可训练的模型参数。

---

4. EXPERIMENT

4.1 Experiment Datasets

  本文实验使用三个被广泛使用的数据集：MovieLens（MovieLens-100K 和 MovieLens-1M），EachMovie来进行实验。表1展示了三个数据集的统计数据。

4.2 Experimental Settings

4.2.1 Evaluation Metrics

  基于用户在测试item上的评分为生成每个测试用户一个top-$n$的推荐列表。为了在top-$n$推荐任务中评估SAGLG算法的表现，使用了4个广泛使用的评估指标：P@n，HR，MAP和NDCG。以一个测试用户 $u_i$ 为例，设 ${\mathcal{L}}_i$ 代表该用户的top-$n$推荐列表。默认设置 $n$=5和10。用户 $u_i$ 的正item集合定义为 ${\mathcal{H}}_i$。
  P@n和MAP两个指标都不仅仅考虑了top-$n$推荐列表的精确度，也专注于正item的排序。P@n计算如下：
$$P@n=\frac{{\sum }_{i=1}^M{\sum }_{j=1}^n\mathbb{I}({\mathcal{L}}_i^{(j)}\in {\mathcal{H}}_i)}{M\times n}$$
其中 $\mathbb{I}(\cdot )$ 代表指示函数，${\mathcal{L}}_i^{(j)}$ 为在top-$n$推荐列表中的第 $j$ 个item。
  MAP为平均精度平均值的缩写（mean of the average precision (AP)），其中AP计算如下：
$$A{P}_i=\frac{{\sum }_{n=1}^{N}P@n\cdot \mathbb{I}({\mathcal{L}}_i^{(n)}\in {\mathcal{H}}_i)}{|{\mathcal{H}}_i|}$$
其中 ${\mathcal{L}}_i^{(n)}$ 代表在列表 ${\mathcal{L}}_i$ 中的第 $n$ 个推荐item。$|{\mathcal{H}}_i|$ 表示在测试数据集中 $u_i$ 的正item的数量。平均全部测试用户的AP指标就得到了MAP：
$$MAP=\frac{{\sum }_{u_i\in U^{test}}A{P}_i}{|U^{test}|}$$
  HR为命中率，描述推荐列表是否包含用户喜欢的项目。HR计算方式如下：
$$HR=\frac{{\sum }_{u\in U}hit({\mathcal{L}}_u,{\mathcal{H}}_u)}{|U|}$$
其中当 ${\mathcal{L}}_u$ 包含至少一个 ${\mathcal{H}}_u$ 中的item时 $hit(\cdot )=1$，否则 $hit(\cdot )=0$。
  NDCG被广泛应用于度量排序算法的表现，其通过规范化DCG计算。DCG计算如下：
$$DCG=\sum _{i=1}^K\frac{2^{r_j}-1}{lo{g}_2(1+j)}$$
其中 $r_j$ 为推荐列表中第 $j$ 个item的评分。如果一个用户买了第 $j$ 个item，$r_j=1$，否则 $r_j=0$。为了规范化DCG，应将 ${\mathcal{L}}_u$ 中的item按照其评分从大到小重新排序，生成一个新的item列表 ${\mathcal{L}}^P$。${\mathcal{L}}^P$ 的DCG值称作 ideal DCG，定义如下：
$$IDCG=\sum _{i=1}^{|{\mathcal{L}}^P|}\frac{2^{r_j}-1}{lo{g}_2(1+j)}$$
NDCG的计算方式为：
$$NDCG=\frac{DCG}{IDCG}$$
  本文利用标准的5折交叉验证来平均所有实验结果。具体来说，随机将每个数据集分成5等份。在每一折中使用其中一份作为测试集，其余为训练集。通过平均5折的结果来生成最后的结果。

4.2.2 Comparison Algorithms

• Node2vec
• ItemPop
• BPRMF
• NeuMF
• SAGLG-no：该算法与提出的SAGLG算法共享相同的神经网络和参数。SAGLG-no不是为用户和item生成一个语义嵌入，而是随机初始化他们的嵌入。

4.2.3 Parameter Setting

  在潜在群组挖掘模块中，针对锚点选择定义参数 $\alpha =0.8$，$\beta =0.5$。设置锚点数量 $K=20$，规模控制参数 $\mu =0.25$，意味着每个节点将被分配到5个不同的群组。在协同嵌入模块，设置节点序列长度为20，滑动窗口大小为10，学习率为0.1。在两个模块中，定义群组嵌入和协同嵌入的维度 $d$ 均为32。
  在自注意力图卷积模块中，构建了一个三层自注意力图卷积网络。所有可训练的参数都通过xavier方法初始化。在训练过程中，应用Adam优化器，定义学习率 $lr=0.005$，$dropout=0.1$。

4.3 Experiment Results

4.3.1 Overall Comparison

表2、表3

4.3.2 Performance of Top-n

图3

4.3.3 Ablation Studies

SAGLG-a只考虑了用户和item的协同嵌入，将他们的协同嵌入随机初始化作为自注意力图卷积网络的输入。SAGLG-g只利用了用户和item的群组嵌入作为图卷积神经网络的输入。SAGLG-no考虑了两种嵌入，但并没有通过图嵌入方式使用协同嵌入生成语义协同嵌入。图4

---

5. CONCUSION

  本文提出了一种SAGLG算法，该算法将协同嵌入和群组嵌入一同考虑进top-$n$推荐任务中。为了生成用户（item）的群组嵌入，设计了LGM模块来通过重启随机游走的方式探索每个用户和item的潜在群组。为了获得有具体语义的协同嵌入，提出利用CE模块来基于二部图挖掘用户和item之间的协同关系。此外，设计了一个自注意力图卷积网络，融合这两种嵌入来增强用户和item的表示。基于不同的真实世界的数据集的实验结果已经验证了SAGLG算法优于最先进的算法。
  在本文中，SAGLG算法在个性化推荐任务中是通用的，只需要一个用户-item评分矩阵进行训练。然而在现实中，有许多复杂的附带信息会影响推荐任务，例如标签、购买时间和不同类型的用户行为。例如，如果用户在短时间内点击了两个item，这两个item之间可能会有潜在的联系。在未来，应该将评分矩阵和这些附加信息相结合，例如根据购买的时间对用户购买的item进行排序，利用序列预测的方法提高推荐性能。