Exploiting Group Information for Personalized Recommendation with Graph Neural Networks

Exploiting Group Information for Personalized Recommendation with Graph Neural Networks

论文链接：https://dl.acm.org/doi/pdf/10.1145/3464764
源码：https://github.com/somTian/GGRM

  个性化的推荐系统对于让用户快速地找到相关的item正变得越来越重要。推荐系统的关键问题在于如何对用户的偏好进行建模。先前的工作大多数采用用户的历史数据来学习用户的偏好，但是面临着数据稀疏性的问题。在线社交网络的普及促进了在线讨论小组的增加，在同一群组的用户通常有着相似的兴趣和偏好。因此融合群组信息对个性化推荐是非常重要的。现存的群组信息增强推荐系统工作主要应用了与群组相关的item信息，该信息没有足够的表现力来捕获群组用户好目标用户之间的复杂偏好依赖关系。文章使用GNN来解决问题。具体地说，将user和item之间的关系、群组的item偏好和用户参与的群组分别都被构建成二部图，用户对item的偏好是通过图神经网络端到端学习的。在Last.fm和Douban Movie数据集上的实验展示了考虑群组偏好能提高推荐表现，展现了在稀疏用户上的优势。

---

1. INTRODUCTION

  随着Internet的发展，用户已经进入到了信息爆炸的时代。作为一个解决信息过载的重要方法，推荐系统旨在为用户量身定制相关item。然而，传统的推荐系统由于主要使用用户和item之间的历史交互数据，传统的推荐系统很容易受到数据稀疏性的影响。在线社交网络的普及促进了在线讨论小组的增加，用户经常被动或积极地参与来自不同在线社区的群组，比如百度贴吧和豆瓣小组。这些团体的形成可能是由于共同的文化背景、相似的兴趣偏好、活动讨论等。尽管这些群组的组成原因不同，但是这些群组通常以某种方式来展现参与用户的共同偏好。当用户参与群组时，他们与群组活动，并且他们的偏好会受到群组的影响。Shaw将群组定义为一个包含至少两个相互影响的人的集合。有相同兴趣的人通常更有可能组成群组。对于社会中的每个用户，他/她的个人偏好也会被他/她加入的群组所影响。群组认同（Group identity） 理论可以解释这种现象的原因，它是由社会认同（Social identity） 理论发展而来。群组认同表现为一个用户对一个特定群组的身份认同感，群组通常给群组成员带来特定的价值和意义。一旦一个人将自己视为群组中的一部分，他/她将会认同该群组的价值观，从群组成员中获得自尊，采取与群组相一致的行为。因此，整合用户群组的偏好可以更好地模拟用户的偏好，从而更好地实现个性化推荐。
  大多数现存的个性化推荐方法是基于协同过滤的，可以被分为两类：基于邻居的协同过滤方法和基于模型的协同过滤方法。这些研究大多数没有考虑群组信息对用户的影响，只有有限的工作使用群组的编号来改进个性化推荐结果。这些有限的工作只使用与群组直接相关的item信息。在在线社区中，群体和个人之间的关系是复杂且相互影响的。一方面，来自群组的个人用户由于他们相似的兴趣和偏好，群组偏好反映了个人用户偏好的聚合。群组之间偏好的不同反映在其不同的群组构成。这导致如何使用不同的用户偏好来构建群组偏好是比较困难的。另一方面，个人用户参与了不同数量的群组，反映了偏好的不同方面。当使用群组偏好为个人用户推荐新产品时，不仅考虑群组偏好的影响，还要考虑群组中的其他用户偏好的影响。例如，同一群喜欢科幻电影的粉丝可能也有喜欢喜剧或动作电影的用户。在同一群组中具有不同偏好的用户也会对目标用户产生影响。这种影响可以通过在图结构数据中节点的更高层次连接来反映出来。
  现存的群组信息增强推荐方法主要依赖于与群组相关的item信息，该信息没有足够的表现力来捕获群组用户和目标用户之间的复杂偏好依赖关系。该文章使用GNN解决问题。最近几年，随着图神经网络的成功，研究者们开始将用户和item之间的关系作为二部图来研究，从而实现不同用户和item之间的高阶连接。考虑群组中的用户对目标用户的影响机制对应到图的高阶连通性，提出了一个群组偏好增强图神经网络推荐模型（Group-preference-enhanced graph neural recommendation model，GGRM）。这个模型是一个基于深度学习的图模型，分别将用户和item之间的关系、群组的item偏好和用户参与的群组构建为一个二部图的形式。基于图神经网络，从个人和群组的角度对用户和item的特征进行建模，不仅缓解了数据稀疏性的问题，而且实现了用户偏好和item特征的充分建模。
总的来说，文章主要贡献如下：

1. 该文不仅使用了用户的历史表现来对用户的偏好进行建模，还聚合了用户加入的所用群组的偏好。不同于之前融合群组信息的个性化推荐工作，该文使用了一个深度图神经网络来对用户偏好和群组偏好进行建模。不仅聚合了与群组直接关联的item信息，还对目标用户所在的群组中其他用户的影响进行了建模。
2. 为验证GGRM的有效性，该文比较了各种各样的主流和经典的推荐模型。在两个现实世界数据集：Last.fm和Douban Movie上的实验结果展示了GGRM比最先进的推荐方法要好。与此同时，在不同的推荐列表长度和不同的隐因子向量维度上的实验结果表明了GGRM的鲁棒性。值得注意的是，当面对更加稀疏的用户时，GGRM会表现出更优秀的结果。这表明GGRM在隐式反馈推荐中缓解了稀疏性的问题。

---

2. RELATED WORK

2.1 Personalized Recommendation Based on Collaborative Filtering

  个性化推荐方法的一个重要目标就是为用户量身定制个性化产品或item。协同过滤假设有相似表现的人有相似的偏好。基于协同过滤的个性化推荐方法可以被分为基于邻居的协同过滤和基于模型的协同过滤。基于邻居的协同过滤方法也包括两种众所周知的协同推荐方法：基于用户的协同过滤和基于item的协同过滤。
  基于模型的协同过滤方法主要使用机器学习技术来模拟用户和item之间的关系。经典方法包括基于Bayesian网络的模型、矩阵分解模型和图模型。在他们之中，矩阵分解模型，作为一个在推荐系统领域典型的隐因子模型，由于其良好表现被广泛地研究和应用。矩阵分解模型将用户和item的共现矩阵（co-occurence matrix）分解为用户隐特征矩阵和item的隐特征矩阵，所以用户和item都分别被表示为低维向量。在预测过程中，目标用户向量的item和目标item向量的乘积被当做目标用户在目标item上的评分。另一种为人熟知的矩阵分解模型是概率矩阵分解（Probabilistic Matrix Factorization，PMF），它假设用户的隐特征矩阵和item的隐特征矩阵都服从高斯先验分布，用户在item上的评分也服从高斯分布。最后，用梯度下降法解决用户和item的隐特征矩阵。对于隐式反馈的问题，最著名的方法是贝叶斯个性化排名（Bayesian Personalized Ranking，BPR）。BPR将隐式反馈中显示的数据视为用户观察到的item，未显示的数据作为用户未观察到的项目。不同于此前模型，BPR模型不将推荐模型视为一个分类问题，而是假设用户对观察到的item的偏好大于未观察到的item，这更符合排名情况。
  近些年来，深度学习模型已经被应用在推荐系统领域中。AutoRec模型结合了协同过滤和自动编码器模型的优点，将用户（item）的分数作为自动编码器模型的输入，通过神经网络的一个隐藏层重构模型的输入。在此基础上，Wu等人使用一个去噪自动编码器构建了一个Top-N推荐任务的推荐模型，Liang等人建议使用变分自编码器来克服隐式反馈问题的线性因子模型。同时，He等人在神经网络嵌入表示的帮助下构筑了一个一般矩阵分解模型（general matrix factorizatin，GMF），通过神经网络的嵌入层将矩阵分解中的用户和产品的隐因子矩阵传递给模型。相比之下，Xue等人考虑到不同产品对目标产品的影响，使用注意力机制为历史交互产品分配不同的权重。

2.2 Personalized Recomendation Incorporating User Social Relationship

  用户的购买决定通常不仅仅基于他们自己的偏好，还受到他们的社会关系提供的信息和建议的影响。社交网络研究也发现同质性（两个有社交关系的用户在行为上有一定的相似之处，homophily）是社会关系中一项重要原则。因此，研究人员已经开始建模用户的社交关系来提高推荐系统的有效性。同时，使用社交关系能缓解推荐系统的稀疏性问题。
  最近的研究证明信任与社会关系的同质性密切相关。Jamali和Ester提出一个“信任游走者”（TrustWalker）算法来预测用户对item的评分。算法使用随机游走来将用户之间的信任值添加到评分预测模型中。它是一个将用户之间的信任关系整合到矩阵分解模型中的主流方法。这方面主要有两种方法。一个是将用户之间的社会关系作为一个常规术语（？） 加入进矩阵分解方法中，例如SoRec算法。另一个方法是加权平均用户和用户朋友的偏好，例如STE模型。此外，Krohn-Grimberghe等人将用户的社会关系考虑进BPR模型，使用军阵分解模型联合分解，以此来提高模型稀疏用户的影响。Zhao等人提出基于“用户喜欢的产品比朋友喜欢的更好，但都比用户和朋友都不喜欢的更好”的假设的SBPR模型。随着深度学习，尤其是图神经网络的发展，研究者开始使用图神经网络对用户之间的关系进行建模。Wu等人提出CNSR模型来将用户社交网络嵌入整合进神经网络推荐模型，设计了一种高效的联合学习算法。实验结果表明该模型优于基准算法。又提出了DGR模型来模拟社交关系，采用图注意网络自适应生成不同的权重，以学习朋友对用户表现的影响。
  除了朋友关系与用户直接关联外，用户的社交关系也包括用户参加的在线群组和社区。这些群组是用户沟通的重要场所，细分组在一定程度上保持了群组内部的相关性和异质性。之前的研究发现，在线社区和群组对平台的开发和活动非常重要。与此同时，随着社交媒体的快速发展和普及，群组和社区逐渐成为了网络平台的重要门户。因此，研究者开始研究群组偏好对个人偏好的影响。Pan和Chen提出一种GBPR模型来融合群组偏好。实验结果表明融入群组偏好可以帮助实现更好地个性化推荐结果。在那之后，Gao等人不仅融合了用户的社交关系，还使用用户参与的真实群组和群组对事件的偏好来构建更好的事件推荐模型。这些工作证明了群组偏好影响着用户个人的偏好。此外，由于群组和个人偏好之间的相互作用，许多用于群组推荐任务的模型也可以执行个性化的推荐任务。如Cao等人提出的AGREE模型也可以使用用户参加的群组信息执行个性化推荐任务。基于AGREE模型，Cao等人使用社交关注者数据来增强用户在群组中的代表性，提出了SoAGREE模型来提高推荐的有效性。

2.3 Graph Neural Network

  尽管深度学习模型赢在计算机视觉和自然语言处理方面带来了巨大提升，卷积神经网络和循环神经网络工作只能处理欧几里得空间数据。图数据，一种非欧空间数据，因其广泛存在而逐渐引起了人们的关注。图数据可以自然地表达真实生活中的数据结构，比如交通网络、万维网和社交网络。最近几年，由于图数据的芜湖不在，研究人员开始关注如何在图上构建深度学习模型。研究图神经网络已经成为最活跃和重要的研究方向。受图卷积神经网络启发，Bruna等人提出了第一个图卷积神经网络。（？）他们从基于图论的卷积定理出发，在谱空间中定义了图卷积。为了使图卷积神经网络在图上的半监督学习领域发挥作用，Kipf等人简化了切比雪夫网络，提出了一个一阶图卷积神经网络。基于个性化PageRank的神经预测的个性化传播（personalized propagation of neural preditions,PPNP) 指出随着模型层数量的加深，网络拟合能力会增加，但一阶图卷积神经网络导致节点表达式过于流程，导致难以分辨节点的问题。在此基础上，PPNP解耦了纬度变换和特征传播，引入了一个个性化PageRank，首先在输入的数据上完成了少量纬度转换，然后根据个性化PageRank进行特征传播。在大规模网络中，即使只考虑二阶邻居，计算量也是非常大的。GraphSAGE使用批训练方法，结合邻居点的随机采样，控制一定范围内每个计算所需的节点数量，使得大规模图数据分布式训练成为可能。当聚合邻居节点的特征时，图注意力网络（graph attention network，GAT） 使用注意力机制决定节点中每个邻居节点的权重，可以自适应控制邻居节点对目标节点的贡献度。除了网络模型的创新外，图神经网络中一般框架的定义也是一个核心问题。消息传递神经网络（Message Passing Neural Network，MPNN） 基于节点之间的消息传播与聚合，该框架通过定义聚合函数的一般形式来提出。定义节点的表示向量是通过消息函数和更新函数进行多轮消息传播后获得的。
  事实证明，图神经网络能很好地对图的结构属性和节点特征信息进行建模，推荐系统可以被视为一个二部图（用户和item）的连接预测问题。因此，最近几年，研究人员开始在推荐系统领域应用图神经网络。Berg等人提出了GCMC模型，将推荐系统的中矩阵完成视为一个二部图的连接预测问题，使用端到端的图自动编码器建模。基于用户和产品的高级连接问题，Wang等人提出NGCF模型。基于GraGraphSAGE模型，Yng等人提出了一种数据高效的卷积神经网络算法PinSage。与传统的图卷积方法相比，它提出了一种高效的随机游走策略模拟卷积，并在有10亿个节点的超大规模推荐系统上成功应用了图神经网络。
  受工作的启发，回顾了此前重要的个性化推荐工作，在表1中总结了他们使用的信息和基础模型。

表1

  从表1中可以看出，神经网络，尤其是图神经网络，是最近几年个性化推荐任务所使用的主流模型。在融合用户的社交朋友方面，研究工作已证明与传统方法相比，图神经网络可以更好地对用户之间的交互进行建模。不幸的是，尽管使用群组偏好来改进个性化推荐的工作已经开展，但是他们并未对个人和群组偏好之间的影响进行深入建模。图神经网络对节点之间相关性影响的深度建模的能力是这项工作选择图神经网络融合群组偏好和个人偏好的原因。

---

3 PROPOSED MODEL

3.1 Preliminaries

  根据第一部分的分析，用户的个人偏好不仅受到他/她自己的历史行为影响，还受到参与的群组偏好的影响。因此，当GGRM为用户生成一个推荐列表时，不仅建模用户个人偏好，还聚合了用户参与群组的偏好。形式化地，有用户 $u\in U$，产品 $i\in I$，群组 $c\in C$，GGRM对它们进行建模来预测用户对产品的喜好。表2为文章使用的数学符号及其描述。

表2

  为了更好地描述用户、产品和群组之间的关系，首先构造了一个用户-产品二部图 $G^{UI}$，一个群组-产品二部图 $G^{CI}$，一个用户-群组二部图 $G^{UC}$，如图1所示。

图1

用户-产品二部图 $G^{UI}$ 包含了所有用户和产品之间的关系，$A^{UI}$ 为 $G^{UI}$ 的邻接矩阵：
$$A_{ui}^{UI}=\{\begin{array}{ll}1,& \text{if user u like product i}\\ 0,& \text{else.}\end{array}$$

群组-产品二部图 $G^{CI}$ 包含了所有群组和产品之间的关系，$A^{CI}$ 是 $G^{CI}$ 的邻接矩阵：
$$A_{ci}^{CI}=\{\begin{array}{ll}1,& \text{if group c like product i}\\ 0,& \text{else.}\end{array}$$

用户-群组二部图 $G^{UC}$ 包含了所有用户和群组之间的关系，$A^{UC}$ 是 $G^{UC}$ 的邻接矩阵：
$$A_{uc}^{UC}=\{\begin{array}{ll}1,& \text{if user u in group c}\\ 0,& \text{else.}\end{array}$$

3.2 GGRM

  之前的研究已经证明，图神经网络可以更好地挖掘二部图的结构和内容。因此我们使用图神经网络同时对用户的个人偏好和群组偏好进行建模，为用户提供更准确的推荐列表。GGRM结构如图2所示。

图2

  在图2中，深蓝色圆圈代表用户，黄色的笑脸代表产品，绿色的六角形代表群组，框代表这三个的隐藏特征表示向量。GGRM大致可以分为三部分：

• 嵌入层将用户、产品和群组映射到低维密集向量表示中；
• 图神经网络通过学习二部图中高级连接来聚合用户、产品和群组的特征；
• 预测层聚合用户的个人偏好和群组偏好，输出用户对产品的偏好评分。

  GGRM的核心为图神经网络部分。如图2所示，从上到下一共有3个二部图作为模型的输入。他们是群组-产品二部图、用户-群组二部图和用户-产品二部图。这三个图通过图神经网络建模，分别学习用户、产品的群组的表示。

3.2.1 Embedding Layer

  与LightGCN模型相似，GGRM嵌入层的作用是将用户、产品和群组映射到低维密集向量表示。拿用户来举例。GGRM的输入是用户的索引。如果是独热编码，将生成一个高维且及其稀疏的向量。这增加了模型复杂性，同时会遇到纬度灾难的问题。与矩阵分解模型相似，嵌入层也使用一个低维密集向量来表示用户，不仅能很好解决模型的计算复杂度问题，学习的用户表示向量能计算用户之间的相似度。这也意味着嵌入层已经学会了一定程度的关系特征。在GGRM中，$P^U\in R^{M\times K}$、$P^I\in R^{N\times K}$、$P^C\in R^{T\times K}$ 分别表示用户、产品和群组的嵌入矩阵（矩阵的参数随着模型的学习而更新）。使用用户索引，可以获取用户 $u$ 的隐特征向量 $e_u^0\in R^K$。类似地，通过产品和群组的索引，可以分别获取产品和群组的隐特征向量 $e_i^0\in R^K$、$e_c^0\in R^K$，其中K代表隐特征向量的维数。

3.2.2 User-Product Bipartite Graph Modeling

  消费者喜欢的产品直接反映了他们的偏好。直觉上，两个喜欢同一产品的消费者有一定的相似之处。因此，如果在两个用户的历史消费数据中存在大多数相同的产品，那么两个用户的偏好也是相似的。类似的，两个有一个共同用户的不同产品应该有相同特征。这两种相互作用之间的历史关系可以通过挖掘用户-产品两部分关系来建模。图卷积网络在图结构数据上取得了显著成果。基于图卷积神经网络的LightGCN模型使用图卷积网络来建模用户与产品之间的关系，在当前的个人推荐任务重取得了最好的效果。GGRM模型基于LightGCN模型来对用户-产品二部图进行建模。图神经网络的建模是一个消息传递和聚合的过程。在GGRM中，用户和产品的关系和特征的卷积操作定义如下：
$$e_u^{(d+1)}=\sum _{i\in N_u^i}\frac{1}{\sqrt{|N_u^i|}\sqrt{|N_i^u|}}{e}_i^{(d)}$$
$$e_i^{(d+1)}=\sum _{i\in N_i^u}\frac{1}{\sqrt{|N_u^i|}\sqrt{|N_i^u|}}{e}_u^{(d)}$$
在上面的公式中，$e_u^{(d)}$、$e_i^{(d)}$ 分别表示在第一级卷积操作中用户和产品的隐向量。$d$ 表示卷积操作的层数，即图概念中的顺序。通过 $d$ 层的卷积，目标顶点的邻居特征可以被聚合。$N_u^i$ 在映射中表示用户的邻居，在真实世界中是用户 $u$ 喜欢产品的集合。$N_i^u$ 表示喜欢产品 $i$ 的用户集合。作为规范化项目，$1/\sqrt{|N_u^i|}\sqrt{|N_i^u|}$ 遵循图卷积网络的标准设计，该归一化项目在推荐系统上也取得了良好的效果。
  在 $d$ 层的卷积操作之后，可以获得在不同级别的用户和产品的特点。同时，随着层数的增长，高等级特征将会被平滑，不利于推荐任务。因此为了融合不同的特征，用户-产品二部图的模型输入是用户（产品）不同特征的融合。最终用户和产品的输出公式如下：
$$e_u=\frac{1}{D}\sum _{d=0}^D{e}_u^{(d)}$$
$$e_i=\frac{1}{D}\sum _{d=0}^D{e}_i^{(d)}$$

3.2.3 Group-Product Biparite Graph Modeling

  与用户相似，不同群组也有群组偏好。例如憨豆先生的粉丝群组主要讨论憨豆先生的电影，而喜剧电影群组的讨论内容就会包括憨豆先生的喜剧电影和其他喜剧演员的电影。由于他们的组织原则，这些不同的群组一般具有特征偏好。偏好相似的群体也有相似之处。例如上面提到的憨豆先生的粉丝群组和喜剧电影群组有某些类似的特征。为了保持GGRM结构的统一性，在建模群组-产品二部图时也使用了图卷积网络，对群组和产品的关系和特征的卷积操作定义如下：
$$e_c^{(d+1)}=\sum _{i\in N_c^i}\frac{1}{\sqrt{|N_c^i|}\sqrt{|N_i^c|}}{\tilde{e}}_i^{(d)}$$
$$\begin{gathered} {\tilde{e}}_i^{(d+1)}=\sum _{c\in N_i^c}\frac{1}{\sqrt{|N_c^i|}\sqrt{|N_i^c|}}{e}_c^{(d)} \\ \text{with, }{\tilde{e}}_i^0=e_i^0 \end{gathered}$$
上式中，$e_c^{(d)}$ 代表经过 $d$ 层卷积操作之后的群组特征向量。为了区分个人偏好和群组偏好的不同，我们使用 ${\tilde{e}}_i^{(d)}$ 来表示在第一层卷积操作期间群组偏好产品的隐向量。为了融合不同级别的特征，群组-产品二分图的输出为：
$$e_c=\frac{1}{D}\sum _{d=0}^D{e}_c^{(d)}$$
$${\tilde{e}}_i=\frac{1}{D}\sum _{d=0}^D{\tilde{e}}_i^{(d)}$$

3.2.4 User-Group Bipartite Graph Modeling

  消费者不会在互联网上独立存在，他们将积极或被动地参与互联网社区。同样的，用户可以参与不同的群组。这些组在一定程度上都显式地反映了用户的兴趣偏好。参与同一组的不同用户具有由该组标记的兴趣标签，这对于建模用户表现非常有用。当使用GGRM集体参与群组来对用户进行建模，并使用图卷积网络作用于用户-群组二部图时，在用户和群组的关系和特征上的卷积操作定义如下：
$${\tilde{e}}_u^{(d+1)}=\sum _{c\in N_u^c}\frac{1}{\sqrt{|N_u^c|}\sqrt{|N_c^u|}}{\tilde{e}}_c^{(d)}$$
$$\begin{gathered} {\tilde{e}}_c^{(d+1)}=\sum _{u\in N_c^u}\frac{1}{\sqrt{|N_u^c|}\sqrt{|N_c^u|}}{\tilde{e}}_u^{(d)} \\ \text{with, }{\tilde{e}}_u^0=e_u^0,{\tilde{e}}_c^0=e_c^0 \end{gathered}$$
在上面的公式中，${\tilde{e}}_u^{(d)}$、${\tilde{e}}_c^{(d)}$ 分别代表经过 $d$ 层卷积操作后用户和群组的特征向量。$N_c^u$ 表示图上用户的邻居，即用户 $u$ 参与的群组。同样的，$N_c^u$ 表示群组中所有用户的集合。
  在用户-群组二部图中，不同级别的特征也被聚合为用户-群组二部图的输出：
$${\tilde{e}}_u=\frac{1}{D}\sum _{d=0}^D{\tilde{e}}_u^{(d)}$$
$${\tilde{e}}_c=\frac{1}{D}\sum _{d=0}^D{\tilde{e}}_c^{(d)}$$

3.2.5 Prediction Layer

  GGRM通过用户历史数据的图卷积网络模型构建用户和产品的隐向量，通过一个群组-产品二部图构建群组和产品的隐向量。参与者小组聚合用户参与群组的表现。在最后的预测中，GGRM聚合了个人用户的偏好和用户参与群组的偏好，共同预测用户对产品的偏好。预测公式定义如下：
$${\hat{y}}_{ui}=(e_u\oplus {\tilde{e}}_u)\cdot (e_i\oplus {\tilde{e}}_i{)}^T$$
其中 ${\hat{y}}_{ui}$ 代表用户对产品 $i$ 的偏好评分，$\oplus$ 表示两个向量的拼接操作。

3.2.6 Model Learning

  在隐式反馈问题中，只有存在的数据是用户喜欢的产品数据。用户没有观察到的产品不一定对是不喜欢的产品，也可能是用户还未浏览的商品。基于这个，GGRM选择比较学习排名方法来构建GGRM的损失函数。基本观点为已经存在的用户对产品的偏好大于未观测到的产品。损失函数的数学定义如下：
$$L=-\sum _{u=1}^M\sum _{i\in N_u}\sum _{j\in N_u}ln\sigma ({\hat{y}}_{ui}-{\hat{y}}_{ui})+\lambda \Vert \Theta {\Vert }^2$$
其中L代表模型的总体损失函数值，$\lambda$ 是模型参数正则化的强度。应注意，GGRM的参数仅仅只是用户、产品和群组的嵌入矩阵参数。也就是说，与矩阵分解相比，只需要在学习一个群组矩阵向量参数。因此，GGRM的计算复杂性基本等价于矩阵分解。在实际的模型训练中，采用小批量Adam优化方法更新学习模型的参数。。与其他梯度下降方法相比，Adam方法具有占用内存小、计算效率高的优点，非常适合大规模数据的环境。

3.3 Model Analysis

  为了展示提出的GGRM的强大性和独特性，我们讨论了GGRM与两个类似的相关工作之间的关系（LightGCN和束/捆绑图卷积网络（Bundle Graph Convolutional Network，BGCN））。LightGCN模型是一个基于图神经网络的SOFT个性化推荐模型。然而LightGCN模型只使用用户-产品交互数据，而不包含其他辅助信息。基于LightGCN模型，提出了一个包含群组偏好的GGRM，同时考虑到用户所在组的影响。BGCN是特别为捆绑推荐任务而设计的图神经网络。尽管BGCN和GGRM都是包含群组信息的图神经网络模型，但这两个模型没有解决相同的问题。GGRM旨在更好地描绘用户所在群组的个性化偏好的影响。此外，在模型设计中，GGRM的输入是三个实体之间的二部图，而BGCN的输入为融合三个实体的异构图。
  接着，讨论GGRM的矩阵形式及其复杂性分析。在GGRM的训练过程中，一共有两部分需要计算资源。第一部分是更新模型参数。GGRM的参数总数只与用户、产品和群组的数量有关。GGRM的参数总数为 $(M+N+T)\times K$，其中K为嵌入向量的大小。另一个消耗计算资源的就是图神经网络的计算过程，下面给出这过程实现的矩阵形式。以用户-群组二部图为例，首先转换为以下形式：
$$A=\left(\begin{array}{cc}0& A_{uc}^{UC}\\ (A_{uc}^{UC}{)}^T& 0\end{array}\right)$$
图神经网络的计算过程如下：
$$E^{(d+1)}=(W^{-\frac{1}{2}}A{W}^{-\frac{1}{2}})E^{(d)}$$
其中 $W$ 是一个 $(M+T)\times (M+T)$ 的对角矩阵，$E^{(0)}\in R^{(M+T)\times K}$。

---

4 EXPERIMENTS

4.1 Datasets

两个真实世界数据集：Last.fm、Douban Movie

4.2 Baselines

1. BPRMF
2. CMF
3. NCF
4. AGREE
5. NGCF
6. LightGCN

4.3 Evaluation Metrics

  在实验阶段，使用每个用户喜欢的产品的 $20\%$ 作为测试集，剩下的 $80\%$ 作为训练集。由于隐式反馈问题中没有用户的负样例，在实验中，根据1:1的正负样本比例，那些用户未交互和群组未交互的产品中抽样作为训练集的负样本。在评估中，所有用户未交互的产品和在测试集中的产品都用来预测和排名。对于指标，在一个用户所有未购买的item上使用了召回值（Recall）和归一化折损累计增益（Normalized Discounted Cumulative Gain，NDCG）。

4.4 Experiments Setting

  在实验中，一个重要的问题是选择群组喜欢的产品。为了区分群组偏好和个人偏好，在具体的实验中，使用群组中两人以上喜欢的产品作为群组喜欢的产品。另一方面，包括基准算法和提出的GGRM，有许多参数需要调整，例如隐向量矩阵的维度。实验分析了实验结果中不同维度的影响。此外，NCF模型与原始论文一致。实验使用了一个三层塔型神经网络结构来测试不同神经网络的影响，显示最佳结果。对于CMF中的平衡超参数值，实验调整了不同的值，结果表明0.2的效果最好。此外，GGRM其他参数设置如下：使用xvaier初始化方法，，默认学习率为0.01，正则化强度调整为0.001；同时，使用Adam算法默认参数，每个小批的大小设置为2048。GGRM使用TensorFlow实现。

---

5 EXPERIMENTAL RESULTS AND ANALYSIS

5.1 Performance Comparison

5.2 Sensitivity to Hyper-Parameter

5.2.1 Recommended List Length

  一般来说，随着推荐列表的长度增加，个性化推荐产品更有可能涵盖用户的兴趣。为了验证GGRM的鲁棒性，测试了GGRM的表现，在不同的推荐列表长度上与其他算法进行了比较。

5.2.2 The Dimension of Latent Factor Vector

  在实验中作对比的所有算法都基于隐向量模型，即在个性化推荐系统中用户和产品都用隐因子向量。因此，在这些模型中，隐因子向量的维度是一个重要的超参数。一般来说，隐藏特征维度越大，可以建模的信息就越多，模型越准确。然而太大的维度将会带来过拟合的问题。

5.2.3 The Depth of Graph Neural Network

  尽管深度学习使用一个深度神经网络学习输入的特征，深度的增加是否可以带来效果的提升，特别是在图结构数据上？在GGEM模型中，图神经网络的深度是一个重要的参数。一层图神经网络可以聚合在网络中一阶邻居的特征，但是当深度增加，也许会造成过平滑问题。

5.3 Result Analysis of Different Type Users

  将两个数据集的数据均分为A、B、C、D，划分标准为喜欢该产品的用户数量的中位数和参与团体的中位数。两个中位数在Last.fm上为12和2，在Douban Movie上为10和27。

---

6 CONCLUSIONS

  本文首先使用社会认同和群组认同的理论分析了用户参与的群组对用户偏好的影响，然后提出了一种通过使用群组偏好帮助对洗漱用户建模的方法。具体地说，文章突出了GGRM来建模用户的个人和群组偏好。当使用图神经网络聚合用户参与的各种群组的偏好时，GGRM不仅可以聚合群组的直接偏好，而且可以对群组中其他用户对目标用户的影响进行建模。在两个真实世界数据集上的实验结果显示GGRM的表现优于其他基线方法。特别是对历史记录稀疏的用户，GGRM实现了更好的改进。这表明使用永和的群组偏好可以帮助向较少历史记录的用户做出更有效的推荐。这项工作不仅提出了新的个性化推荐模型，丰富了对个性化推荐方法的研究，同时还确认了从数据角度看单个用户的偏好受到群组表现的影响。同时，本工作的实验结果可以为在线社区平台提供推荐工具和设计策略。当面对新用户时，应当积极推荐不同的群组使用户参与其中，以便更准确地确定用户偏好。
  在未来的研究工作中，将把工作沿着两个方向扩展：第一，该工作没有显式地对受到群体不同程度影响的用户进行建模。在现实世界中，不同的用户对受到群组偏好的不同影响；比如具有专业知识的用户会更可能根据他们自己的判断购买商品，而不了解产品性能的用户更可能受到群组偏好的影响。在个性化推荐的研究中，在建模过程中应该显著地考虑这种影响。第二，用户和群组的相互作用不是一成不变的，而是动态变化的。通过一个时间序列模型建模用户和群组的动态影响过程是很重要的，这不仅有助于提高个性化推荐的有效性，也能帮助理解用户和群组之间的复杂关系。