【论文】图神经网络（GNN）在推荐系统中的挑战、方法和方向

1. 前言

论文是由清华大学李勇、中科大何向南老师团队有关GNN和推荐系统的综述：Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions。这篇文章对图神经网络及其在推荐系统中的应用进行了详细的调研，从不同角度对GNN在推荐系统的应用进行了分类，最后基于这些调研对领域内存在的问题和发展方向进行了讨论。

论文链接：https://arxiv.org/abs/2109.12843
仓库链接：https://github.com/tsinghua-fib-lab/GNN-Recommender-Systems

2. 背景 - 推荐系统的发展历程和挑战

2.1.1 浅层模型

早期的推荐模型主要通过计算交互的相似度来捕获协同信号，之后随着Netflix比赛中矩阵分解模型的大放异彩，推荐系统被转化为表示学习问题。

此阶段提出了基于模型的CF方法，例如矩阵分解（CF）和分解机。

然而，这些方法面临着诸如复杂的用户行为或数据输入等关键挑战。

2.1.2 神经网络模型

浅层的模型不足以建模复杂的用户行为和大量数据输入，以神经协同过滤NCF，深度因子分解机DeepFM为代表的神经网络方法被开发了出来。

例如，开发了神经协同过滤（NCF），用多层感知器（MLP）扩展MF的内积，以提高其容量。类似地，深度因子分解机（DeepFM）将浅模型因子分解机（FM）与MLP结合起来。

然而，这些方法仍然非常有限，因为它们的预测和训练范例 忽略了观测数据中的高阶结构信息。

例如，NCF的优化目标是预测用户项交互，训练样本包括观察到的积极用户项交互和未观察到的消极用户项交互。这意味着在特定用户的参数更新过程中，只涉及他/她交互的项目。

2.1.3 图神经网络模型

传统的神经网络很难学习到数据中的高阶结构信息，而图神经网络GNN采用消息传递机制整合邻居信息，通过多层堆叠使得节点可以访问高阶邻居的信息。因此图神经网络模型近年来被广泛应用在推荐系统中，并成为最先进的方法。

为了将图神经网络很好地应用到推荐系统中，有一些关键的挑战需要解决。

（1）推荐系统的数据输入应该仔细、正确地构造成图，节点表示元素，边表示关系。
（2）对于具体的任务，需要对图神经网络中的组件进行自适应设计，包括如何进行传播和聚合，现有的工作已经探索了各种各样的选择，各有优缺点。
（3）基于GNN模型的优化，包括优化目标、损失函数、数据采样等，应符合任务要求。
（4）由于推荐系统对计算成本有严格的限制，并且由于GNNs的嵌入传播操作引入了大量计算，因此在推荐系统中高效部署图神经网络是另一个关键挑战。

3. 推荐系统的分类

3.1 根据推荐系统的不同阶段

• Matching 匹配阶段： 第一个推荐阶段会从非常大的item池子中匹配出几百个候选项目。该阶段的特点是数据规模大，同时出于在线服务的延迟考虑，模型通常比较简洁。此外，现实工业界中的推荐系统通常包含多个匹配渠道，来分别考虑不同方面的信息。
  这个阶段的核心任务是高效地检索潜在的相关项，并实现用户兴趣的粗粒度建模。

• Ranking 排序阶段： 第二个推荐阶段会把来自不同渠道的多个匹配结果整合到一个列表中，并对其进行排序，选出排名靠前的items。这一阶段由于输入规模较少，系统可以为了精度来使用复杂算法，并把多种特征考虑进来。例如，可以考虑包括用户配置文件和项目属性在内的丰富功能，并且可以利用诸如自我关注（self-attention）之类的高级技术。
  多种特征之间如何交互也成为了该阶段的关键挑战。

• Re-ranking 重排序阶段： 上一阶段的优化目标主要是推荐精度，但推荐系统除了精度之外，还需要考虑新鲜度，多样性，公平性等问题。这一阶段需要考虑不同Items之间的多重关系，进行删除或者更改顺序等操作。
  在这一阶段的主要关注点是考虑最高得分项目之间的多重关系。例如，类似或可替代的项目在推荐中紧密显示时可能导致信息冗余。

3.2 根据不同推荐场景

3.2.1 社交推荐

除了用户-商品之间的交互之外，利用用户的社交关系来增强推荐效果。

主要挑战： 如何捕获社交因素，如何结合社交信息和交互行为。

近期发展：

3.2.2 序列推荐

利用用户的历史交互序列提取用户的兴趣，来预测下一个item。

主要挑战： 如何从序列中提取尽可能多的有效信息。
具体来说：（1）对于每个样本，即在每个序列中，需要从序列中提取用户的兴趣，以预测下一个项目。特别是当序列长度增加时，同时对用户的短期、长期和动态兴趣进行建模是非常具有挑战性的。（2）除了在序列内建模外，由于项目可能出现在多个序列中或用户具有多个序列，因此需要捕获不同序列之间的协作信号以更好地表示学习。

近期发展：

3.2.3 会话推荐

在许多现实场景中，例如一些小型零售商和移动流媒体（例如YouTube和Tiktok），由于存储资源有限，不可能或不需要长时间跟踪用户id的行为。换句话说，用户档案和长期的历史交互不可用，只通过匿名用户的短会话数据进行推荐。

主要挑战： 如何在会话数据中建模items的变化模式以及如何在噪声数据中提取用户的核心需求。

近期发展：

3.2.4 捆绑推荐

给用户推荐bundle(一组items)而不是单个item

主要挑战： 用户对捆绑包的决策需要考虑items的从属关系，用户和捆绑包的交互更加稀疏，高阶关联的建模

近期发展：

3.2.5 跨域推荐

利用用户在多领域内的历史交互，缓解冷启动和数据稀疏问题。

跨域推荐（CDR）方法大致可分为两类，单目标CDR（STCDR）和双目标CDR（DTCDR）。
CDR方法将信息从源域向目标域单向传输；DTCDR强调源域和目标域信息的相互利用，可以扩展到多目标CDR（MTCDR）。

主要挑战： 如何整合利用不同域的信息

近期发展：

3.2.6 多行为推荐

利用多种行为下的交互进行推荐，来缓解数据稀疏问题。

用户与推荐系统在多种类型的行为下交互，而不是仅在一种类型的行为下交互。
例如，当用户单击视频时，他/她还可能执行收集或评论等行为。在电子商务网站中，用户通常在购买产品之前单击、添加到购物车、共享或收集产品。
尽管推荐系统的最终目标是推荐用户将购买的产品，但与用户的点击、共享和其他行为相比，购买行为非常稀少。

主要挑战： 如何建模多种行为和目标行为之间的关系，如何通过行为建模物品的语义信息。

具体来说：（1） 不同的行为对目标行为有不同的影响。有些行为可能是强信号，有些可能是弱信号。同时，这种影响对于每个用户都是不同的。准确地模拟这些不同行为对目标行为的影响是一个挑战。（2） 从项目的不同行为类型中学习综合表征是一项挑战。不同的行为反映了用户对物品的不同偏好；换句话说，不同的行为有不同的含义。为了获得更好的表征，需要将不同行为的意义整合到表征学习中。

近期发展：

3.3 根据不同的推荐目标

3.3.1 多样性

给用户推荐不同种类的Items，减少冗余。

推荐系统通常考虑两种多样性，即个体层次的多样性和系统层次的多样性。
具体而言，个体层次的多样性 是一个重要目标，它衡量每个用户推荐项目的不同性，因为重复的相似项目会使用户不愿意使用系统进行探索。换句话说，个体层次的多样性反映了推荐列表涵盖的主题数量以及推荐项目在不同主题上的分布平衡程度。这里的主题取决于推荐任务，例如主题可以是电子商务推荐的不同产品类别和音乐推荐的不同类型。
在 系统层次的多样性 方面，它比较了不同用户的推荐结果，并期望它们彼此不同。换句话说，低系统级多样性意味着总是向所有用户推荐热门项目，而忽略长尾项目。

主要挑战： 如何增强劣势主题的信号，如何在多样性和准确性之间权衡。

具体来说，（1） 不同项目的信号强度差异很大。对于每个用户来说，都存在优势话题和劣势话题，例如用户与电子设备的交互记录可能比与衣服的交互记录要频繁得多。类似地，长尾项目的信号强度也远弱于流行项目。因此，针对个人层面和系统层面的多样性，从弱势主题或长尾项目分别推荐监管如此薄弱的相关内容是一个挑战。（2） 多样性有时可能与推荐准确性相矛盾，导致准确性-多样性困境；因此，平衡这两个方面是一个挑战。

近期发展：

3.3.2 可解释性

解释为什么给这个用户推荐这个Item

这项调查主要集中在提高机器学习技术的可解释性。
具体而言，过去的研究采用了两种不同的方法：
一种是努力设计内在的可解释模型，通过设计具有透明逻辑（而不仅仅是“黑箱”）的模型来确保推荐结果的可解释性，例如显式因素模型、隐藏因素和主题模型和TriRank。
其他则稍有妥协：他们设计了事后独立的模型来解释“黑箱”推荐系统产生的结果，例如解释挖掘。

主要挑战： 如何细粒度解释

具体来说：（1） 表示可解释的信息需要图形结构项属性，如果没有GNN的强大功能，很难对这些属性进行建模。（2） 推理建议依赖于知识图中的外部知识，这也对任务提出了挑战。

近期发展：

3.3.3 公平性

给不同用户的推荐结果中去偏见。

推荐系统中的公平性可分为两类：用户公平性，它试图确保特定用户或人口统计组之间没有算法偏差；项目公平性，它表示不同项目的公平暴露，或者不同项目之间没有受欢迎的偏见。

具体来说，研究人员采用了两种方法来增强公平性：一种是在训练过程中直接扣除推荐结果，另一种是在后处理方法中努力对项目进行排序以缓解不公平性。

主要挑战： 如何减小推荐中的歧视和社会偏见

近期发展：

3.4 根据不同的推荐应用

3.4.1 产品推荐（电子商务推荐）

处理多种与平台利润密切相关的行为至关重要，包括加入购物车或购买。
一些著作建议同时优化点击率和转换率。
此外，在电子商务平台中，产品可能具有丰富的属性，如价格、类别等，在此基础上可以构建异构图。

产品推荐的代表性基准数据集包括亚马逊、天猫。

3.4.2 POI推荐（兴趣点推荐）

为用户下次访问推荐新的位置/兴趣点。

在兴趣点推荐中，有两个重要的因素，空间因素和时间因素。

空间因素是指POI自然存在的地理属性，即地理位置。此外，由于用户不能像在电子商务网站上浏览/购买产品那样轻松地访问POI，因此用户的访问也很大程度上受到其地理活动区域的限制。

时间因素也非常重要，因为用户的访问/签入行为总是形成一个序列。这就引发了下一个POI或后续POI推荐的问题。

POI推荐的代表性基准数据集包括Yelp、Gowalla等。

3.4.3 新闻推荐

与其他推荐应用不同，新闻推荐需要对新闻文本进行适当的建模。

因此，自然语言处理方法可以与推荐模型相结合，以便更好地提取新闻特征。
此外，用户总是对最新的新闻感兴趣，可能会拒绝过时的新闻。因此，快速、准确地从快速变化的候选人库中筛选新闻也是至关重要但极具挑战性的。

关于新闻推荐，MIND数据集是最近发布的具有代表性的基准数据集。

3.4.4 电影推荐

Netflix的电影推荐竞赛激发了许多先锋推荐研究。

电影推荐的早期设置是估计用户对电影的评分，从1分到5分，称为显式反馈。最近，二进制隐式反馈已经成为更流行的设置。

3.4.5 其他推荐

如视频推荐、音乐推荐、工作推荐、食品推荐等。

4. 图神经网络(Graph Neural Networks, GNN)

GNN的兴起主要源于卷积神经网络（CNN）和图形表示学习（GRL）的发展。
当应用于图像或文本等常规欧几里德数据时，CNN在提取局部特征方面非常有效。然而，对于像图这样的非欧几里德数据，CNN需要泛化来处理操作对象（例如，图像中的像素或图上的节点）大小不固定的情况。
在GRL方面，它的目标是为图节点、边或子图生成低维向量，这些图表示图的复杂连接结构。例如，开创性的工作DeepWalk通过在生成的路径上使用SkipGram和图上的随机游走（random walks） 来学习节点表示。

模型的泛化能力：指机器学习算法对新鲜样本的适应能力。
学习的目的：学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

由此可见，经训练样本训练的模型需要对新样本做出合适的预测，这是泛化能力的体现。

Deepwalk 是一种将随机游走(random walk)和word2vec两种算法相结合的图结构数据挖掘算法。该算法能够学习网络的隐藏信息，能够将图中的节点表示为一个包含潜在信息的向量。
随机游走 是一种从图中提取序列的技术。
通俗理解word2vec

如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做 『Skip-gram 模型』
而如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 『CBOW 模型』
skip-gram 语言模型：
skip-gram 是使用单词来预测上下文的一个模型，通过最大化窗口内单词之间的共现概率来学习向量表示，在这里扩展之后便是使用结点来预测上下文，并且不考虑句子中结点出现的顺序，具有相同上下文的结点的表示相似。（Ps:两个node同时出现在一个序列中的频率越高，两个node的相似度越高。）

4.1 图的构建

• 同构图： 边和节点只有一类
• 异构图： 边和节点有多个种类
• 超图： 一条边可以链接多个点

4.2 图神经网络的建模，消息传递聚合机制

4.3 如何优化

• 链路预测：BPRloss
• 节点分类：Logloss

4.4 GNN为什么适合推荐系统

推荐系统数据多，种类杂（交互，用户画像，商品属性等），用图可以统一整合在一起，获得高质量嵌入。

• 结构化数据

通过将所有数据表示为图上的节点和边，GNN提供了利用可用数据的统一方法。同时，GNN在学习表示方面表现出强大的能力，因此可以获得对用户、项目和其他特征的高质量嵌入，这对推荐性能至关重要。

• 高阶连通性

堆叠GNN层可以自然引入高阶关联，增强协同过滤信号。

那些由具有相似偏好的其他用户交互的项目也与用户相关，这被称为协同过滤效应。在传统方法中，只考虑一阶连通性。缺少高阶连接性会在很大程度上损害推荐性能。相比之下，基于GNN的模型可以有效地捕获高阶连接性。具体而言，协同过滤效果可以自然地表示为图上的多跳邻居，并通过嵌入传播和聚合将其融入学习表示中。

• 监督信号

监督信号，例如交互数量稀疏。GNN在表示学习中利用半监督信号来缓解监督信号少的问题。

监督信号在采集的数据中通常是稀疏的，而基于GNN的模型可以在表示学习过程中利用半监督信号来缓解这一问题。
基于GNN的模型可以通过对图上的半监督信号进行编码，有效地结合多种非目标行为，如搜索和添加到购物车，这可以显著提高推荐性能。同时，还可以通过在图上设计辅助任务来利用自监督信号，从而进一步提高推荐性能。

5. 挑战——GNN在推荐系统上应用需要考虑的几个问题

• 图形构造

将输入的数据构造为图形结构数据；将推荐目标重新组织为图表上的任务。
点：
挑战一：确定是否区分不同类型的节点。例如，在协同过滤任务中，可以对用户节点和项目节点进行不同的建模，或者将其视为同一类节点。
挑战二：是处理具体的输入，比如一些数字特征，比如物品价格，它们总是连续的数字。为了在图中表示这些特征，一种可能的解决方案是将它们离散化为分类特征，然后将其表示为节点。

要处理过于密集的边，对图进行采样、过滤或修剪是很有效的解决方案。

• 网络设计 —— 消息传递聚合机制

使GNN不同于传统的图形学习方法的是传播层。
对于传播，如何选择路径是建立推荐系统高阶相似性模型的关键。此外，传播也可以是参数化的，即为不同的节点分配不同的权重。
在传播过程中，也有各种聚合函数的选择，包括平均池、LSTM、max、min等。此外，可以堆叠传播/聚集层以帮助节点访问更高跳数的邻居。

• 模型优化

为了优化基于图神经网络的推荐模型，推荐系统中传统的损失函数总是转向图学习损失。例如，优化中的logloss可被视为逐点链路预测损耗。类似地，BPR损失通常用于图上的链路预测任务。

另一个方面是数据采样。在基于GNN的推荐中，要对正项目或负项目（positive or negative items）进行抽样，抽样方式在很大程度上取决于图形结构。例如，在社交推荐中，在图上执行随机游走可以生成弱阳性项目（weak positive items ）（例如朋友互动的项目）。

此外，有时，基于GNN的推荐可能涉及多个任务，例如不同类型边缘上的链路预测任务。那么在这种情况下，如何平衡每一项任务，使它们相互促进是一个挑战。

• 训练和推理效率

通过邻域间采样或剪枝图结构，只要能够承受推荐性能的下降，就可以始终保持推荐效率。

6. 现有的方法 --（待补充）

7. 未来发展方向

1. 更深层的GNN，CNN加深之后性能更好了，GNN加深可以捕获更高阶的关联，但是存在过平滑等问题，同时在GNN加深的过程中，也要保证计算量是可以接受的。
2. 动态的GNN推荐，应用场景中很多图是一直在动态变化的，如何使推荐系统自适应时间演化具有很大现实意义。
3. 知识图谱增强的GNN推荐，利用知识图谱引入更多外部知识，提高推荐质量的同时也能考虑多样性，公平性更多指标。
4. 效率和可扩展性，大规模工业系统中的效率和大数据量。
5. 自监督GNN，利用自监督缓解数据稀疏问题。
6. 对话推荐，在聊天过程中进行推荐。
7. 自适应GNN推荐，推荐目前有很多场景，如何结合Auto ML等技术，创建通用的GNN推荐系统。

8. 总结

图神经网络模型在推荐系统的研究领域有了快速的发展。这篇综述提供了一个广泛的调查，系统地介绍了该领域的挑战、方法和未来方向。不仅对发展的历史，而且对最新的进展也做了充分的介绍。希望这个综述能够很好地帮助GNN推荐领域的初级和有经验的研究人员。

9. 参考

综述 | 图神经网络在推荐系统中的挑战、方法和方向