​WWW 2023 | GraphPrompt: 图神经网络上统一预训练任务与下游任务

©PaperWeekly 原创 · 作者 | 于星橦

单位 | 中国科学技术大学博士生

研究方向 | 图神经网络

论文题目：

GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

论文链接：

https://arxiv.org/pdf/2302.08043.pdf

代码链接：

https://github.com/Starlien95/GraphPrompt

收录会议：

WWW 2023 Research Track

作者主页：

https://xingtongyu.netlify.app/

图可以模拟对象之间的复杂关系，从而实现众多网络应用，例如在线页面/文章分类和社交推荐。虽然图神经网络（GNN）已经成为图表示学习的强大工具，在端到端的有监督场景下，GNN 的性能严重依赖于大量有标签的数据。为了减少标签要求，“pre-train，fine-tune”（预训练，微调）和“pre-train，prompt”（预训练，提示）范式变得越来越常见。

特别地，prompt 是自然语言处理（NLP）中fine-tune 的流行替代方案，旨在以任务特定的方式缩小预训练和下游目标之间的差距。

然而，现有关于图上 prompt 的研究仍然有限，缺乏普适的处理方式来适用于不同的下游任务。在本文中，我们提出了 GraphPrompt，一种新颖的图预训练和提示框架。GraphPrompt 不仅将预训练和下游任务统一为一个通用任务模板，还使用可学习的 prompt 来协助下游任务以任务特定的方式从预训练模型中定位最相关的知识。最后，我们在五个公共数据集上进行了大量实验，以评估和分析 GraphPrompt。

统一框架

▲ GraphPrompt框架图

我们首先在图 2 中介绍了 GraphPrompt 的总体框架。我们的框架部署在图 2(a) 中展示的一组无标签图上，用于图 2(b) 中的预训练。预训练采用了一个无监督的链接预测任务。在图 2(c) 中，我们利用