An Empirical Study Towards Prompt-Tuning for Graph Contrastive Pre-Training in Recommendations

An Empirical Study Towards Prompt-Tuning for Graph Contrastive Pre-Training in Recommendations

作者：

Haoran Yang
University of Technology Sydney
Xiangyu Zhao∗
City University of Hong Kong
Yicong Li
University of Technology Sydney
Hongxu Chen
University of Queensland

摘要

图对比学习(GCL)是解决各种图学习任务的一种有效技术。该方法已成功应用于现实世界的推荐系统中，将对比损失和下游推荐目标相结合，形成整体目标函数。然而，这种方法在不涉及下游训练目标的情况下预训练图嵌入，即对比学习的任务是两种结构间的相似度，而推荐算法任务是拉近预测的用户与物品的交互得分与真实数据中的交互得分的差距。
在本文中，作者提出了一个名为CPTPP的新框架，它通过利用即时调优来增强基于gcl的推荐系统。
然后将这些提示与预先训练的用户嵌入相结合，以便在下游任务中进行提示调优。这有助于弥合预训练和下游任务之间的差距。

介绍

GCL主要是为预训练图表示而设计的，不涉及下游任务目标。在这种方法中，GCL预训练嵌入，然后使用下游模型对特定任务进行微调。将GCL和推荐目标合并到整体训练目标中会破坏嵌入预训练过程，并且需要仔细控制对比损失的权重，因此在大部分方法中对比损失占比明显小于推荐损失。
预训练目标与下游任务之间的差异阻碍了下游模型从GCL的预训练嵌入中有效提取有用信息。GCL预训练目标主要评估图元素(如节点、边和子图)之间互信息的一致性，而传统的图学习任务目标主要是节点分类和链接预测。
为了解决这一问题，作者提出了CPTPP框架，在下游任务中提取信息作为提示参与GCL预训练，以此增强GCL与图学习任务的联系。

框架

方法

提示生成器

训练一个提示生成器(只用来生成用户提示信息)，这是一个两层的MLP，用户的信息被输入后输出是一个p x n大小的用户提示矩阵，这个矩阵与对比学习生成的user嵌入信息进行融合，得到最终的生成嵌入，然后与对比学习生成的item嵌入做预测
提示生成器的输入有三类：
1、历史交互行为，ik，1表示用户k交互过的第一个物品
1
2、矩阵分解得到的隐含因子向量

3、高阶的表示信息

对比学习

用增强后的两个图做图对比学习，得到user与item的特征表示

特征融合

将对比学习中得到的用户的特征表示与提示器得到的其个性化提示信息融合，具体操作：首先合并，然后通过感知机将其投影到相应的特征空间内，得到最终的user的embedding

伪代码

损失

实验结果