Revisiting Graph based Social Recommendation: A Distillation Enhanced Social Graph Network

Revisiting Graph based Social Recommendation: A Distillation Enhanced Social Graph Network

论文：https://paperswithcode.com/paper/revisiting-graph-based-social-recommendation
源码：https://www.dropbox.com/scl/fi/zrrhcqd198wn239djto4w/Supplementary%20Material.zip?rlkey=89om2stl9y0jyzqhwlbqxzqnx&e=1&dl=0

摘要

社交推荐利用社交关系构建推荐系统（RS），在缓解信息过载方面发挥着重要作用。 最近，图神经网络（GNN）由于其强大的图数据容量而受到越来越多的关注。 由于RS中的数据本质上是图的结构，因此基于GNN的RS正在蓬勃发展。 然而现有作品缺乏对社会推荐的深入思考。 这些方法包含隐含的假设，在实践中没有得到很好的分析。 为了解决这些问题，我们对广泛使用的社交推荐数据集进行统计分析。 我们设计了评估社交信息的指标，这可以为我们是否以及如何在 RS 任务中使用这些信息提供指导。 基于这些分析，我们提出了一种蒸馏增强社交图网络（DESIGN）。 我们训练一个集成了用户-项目交互图和用户-用户社交图信息的模型，并分别训练两个仅使用上述图之一的辅助模型。 这些模型是同时训练的，其中知识蒸馏技术限制了训练过程并使它们相互学习。

1 INTRODUCTION

大多数用户只有有限的行为数据，仅依赖于用户-项目历史交互的 RS 模型会遇到数据稀疏问题。 幸运的是，随着社交网络的快速发展，越来越多的人喜欢在这些平台上建立社交关系并分享他们的喜好。 近年来，社会推荐作为一个有前景的方向出现并受到越来越多的关注。 正如社会影响力理论[4, 25]所支持的那样，用户通常通过周围的人获取和传播信息，这意味着用户潜在的社会联系可以在构建RS模型中发挥重要作用。 早期的研究主要集中在社会规范化方法上。 最近，基于 GNN 的方法构建了图结构化数据来在用户和项目之间传播消息，这有助于规范嵌入并提高预测性能。

尽管如此，我们认为现有的基于 GNN 的社交推荐方法缺乏对其假设的深入思考。 从图信号处理的角度来看，一些研究认为节点嵌入由低频真实特征和高频噪声组成[27, 37]。 他们表明，GNN 模型迭代聚合邻域节点嵌入对应于对图信号执行低通滤波。 因此，GNN 模型可以学习更好的图表示并提高性能，因为它们执行低通滤波来对节点特征进行去噪。 在用户-项目交互图上执行此类操作是有意义的，因为要预测的数据和历史交互来自相同的分布。 然而，社交图谱的情况有所不同。 尽管社会影响理论[4, 25]指出，有社会联系的人往往有相似的偏好，但这种倾向在不同的场景中会有所不同。 当这种趋势不明显时，根据社交关系平滑用户嵌入将限制模型的表示能力并降低其预测性能。

为了更深入地理解社交影响力理论 [4, 25]，我们进行分析来探索（1）用户与项目交互和（2）用户与其他用户建立社交联系之间的相互关系。

基于上述分析，我们提出了一种蒸馏增强社交图网络（DESIGN）。 如图 1 所示，社交推荐数据集包含用户-项目二分图和用户-用户社交图。 一些RS方法仅使用一张图来执行卷积[3,12,34,39]，因此它们不能很好地利用所有可用信息。 其他工作建议整合这两个图 [7, 38]。 然而，这些模型往往会很快过度拟合训练数据，无法充分释放其能力。 为了解决这些问题，我们将知识蒸馏（KD）技术引入到社交推荐中。我们建议训练一个集成两个图知识的模型作为主模型，并分别训练两个仅使用一个图作为辅助模型。 依赖二分图和社交图的模型执行不同的消息传播过程以平滑用户表示。 他们的预测差异较大，而且各有千秋。 所有这些模型都是同时训练的。 主模型充分利用所有可用的知识来获得更好的性能，辅助模型限制主模型的训练过程，可以看作是一种正则化策略。

2 RELATEDWORK

Social Recommendation
i）基于社会正则化的方法[15, 40]，它假设连接的用户会表现出类似的嵌入；
ii) 基于用户行为增强的方法[9, 10]，该方法认为社交网络提供了有价值的信息来增强每个用户的行为。

GNN-based Recommendation.

Knowledge Distillation.
知识蒸馏是一种与模型无关的网络压缩技术，用于将大型模型（教师）的知识转移到小型模型（学生）[14]。 转移的知识揭示了训练集中未明确包含的隐藏属性，从而加速和改进学生模型的学习，实现有效性和效率之间的平衡。 最近的一些研究将 KD 用于 RS，以在保持性能的同时减小模型的大小 [16,20,21,29]。 然而，他们通过控制用户和项目的嵌入大小构建了不同的模型。 相比之下，我们构建了不同的基于 GNN 的 RS 模型，这些模型依赖于不同的数据源。

3 PRELIMINARIES

3.2 Data Analyses

三个问题:
• RQ1: Compared with two random users, whether socially connected users have a higher probability of having similar preferences? If so, how much is the probability difference?
• RQ2: What is the probability that two users with similar preferences have a social relationship? Whether the amount ofinformation provided by social relationships is significant?
• RQ3: What kind of users pairs are more likely to be socially connected. Does it have a similar trend with the message propagation process of GNN-based RS models?

在推荐任务中，用户-项目交互是评估用户是否具有相似偏好的最佳证据。 为了简化说明，我们定义一个函数 val 来评估两个用户是否有相似的偏好。 如果∃vi ,vi ∈ Nr(u1)∩Nr(u2)（两个用户与至少一个相同的项目交互），并且 val(u1,u2) = 1，我们将 (u1,u2)(用户1和用户2在社交网络有联系) 定义为有效用户对。否则 val( u1,u2) = 0。

3.2.1 RQ1:

4 DISTILLATION ENHANCED SOCIAL RECOMMENDATION SYSTEM

4.1 DESIGN Framework

我们有一个用户-项目图 Gr 和一个用户-用户图 Gs 。 构建过滤器的方式很自然有两种：
（1）根据单个图构建过滤器或
（2）组合两个图构建统一的过滤器。
然而，这两种方法都有局限性。 对于第一种方法，仅使用一个图并不能很好地利用所有可用信息。 对于第二种方法，直接将两种图结构结合起来而不对模型进行限制，很快就会导致过拟合，无法充分释放其能力。 为了解决这些问题，我们提出了一个新的框架来综合利用来自各种数据源的信息。

According to the results ofRQ3

KD 是一种与模型无关的策略，它在其他模型的指导下训练模型 [14, 20]。 我们认为依赖 Gr 或 Gs 的模型有其自身的优势。 进行 KD 可以使他们能够利用彼此的互补知识。 为了充分利用所有可用数据，我们建议训练一个集成 Gr 和 Gs 的模型作为主模型，并训练两个分别依赖于 Gr 或 Gs 的辅助模型。 这三个模型被定义为 TwinGCN、RatingGCN 和 SocialGCN。 所有模型都通过使用彼此的知识以及二进制标签同时进行训练。

4.2 GNN-based Social Recommendation

在用户物品二分图中只对用户embedding进行平滑操作

4.3 Model Prediction

在我们提出的设计框架中，唯一可训练的参数是所有项目的 {Ht,i ,Hr,i ,Hs,i } 和所有用户的 {Ht,u,Hr,u,Hs,u }。 给定这些参数后，可以根据公式 15-17 计算较高层的用户嵌入。 经过K层图卷积运算后，我们进一步组合每层获得的这些嵌入，形成最终的用户表示。

4.4 Model Training
为了在公式10-13的框架下训练SocialGCN、RatingGCN和TwinGCN，我们需要指定CF损失和KD损失。 由于我们关注用户的隐式反馈，因此我们按照[13]将推荐任务视为二元分类任务。 我们将目标值 yui 设置为二值化的 1 或 0，表示 u 是否与 i 交互。 我们采用概率方法进行优化，需要将预测分数限制在 [0, 1] 范围内，以表示 i 与 u 相关的可能性。 通过上述设置，我们将 CF 损失定义如下。