用预训练GNN有奇效！2025发顶会就靠它了！

众所周知，图数据标注成本高昂且稀缺，如果直接用未预训练的GNN模型在少量标注数据上进行训练，效果一般都不太理想...当然，这时就该预训练GNN上场了。

GNN预训练通过利用未标注图数据提升模型理解能力，增强泛化性能，这减少了数据需求、加速了训练过程。对于很多实际应用场景来说，预训练GNN可以说是一种高效且经济的解决方案。

WWW 2024上的一篇成果可以见得，文章提出了一种GNN预训练框架GraphPro，用于推荐系统，在多个真实世界数据集上，该模型在保持高性能的同时，训练效率最高快了81倍。

另外还有AAAI 2024、LREC-COLING 2024等诸多顶会都收录了不少GNN预训练相关的成果，非常建议有论文需求的同学研读，感兴趣的话可以直接看我整理好的11篇，前沿有代码。

全部论文+开源代码需要的同学看文末

WWW 2024 GraphPro: Graph Pre-training and Prompt Learning for Recommendation

方法：论文提出了一种名为GraphPro的新框架，通过结合动态图的预训练和提示学习，显著提升时间敏感的推荐系统的适应性和可扩展性。GraphPro在动态推荐场景中超越现有最先进方法，且在多个数据集上表现优异，同时在训练效率上大幅提升。

创新点：

• GraphPro框架通过将动态图预训练与Prompt学习相结合，提升了推荐系统的适应性和扩展性。

• 引入了时间Prompt机制和图结构Prompt学习机制，以使预训练的图神经网络（GNN）能够处理用户偏好的变化。

• 通过引入交互边作为Prompt边，GraphPro框架在微调阶段无需迭代更新模型参数。

AAAI 2024 Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery

方法：论文提出了一种名为DGPM的双层图自监督预训练方法，通过自动发现子图模式和交叉匹配学习模块来有效融合节点和子图信息，旨在应对图数据预训练中的多层次信息交互挑战，并在多个图分类基准上验证了其有效性和普适性。

创新点：

• DGPM提出了一种独特的双层预训练结构，能够协调节点级别和子图级别的预训练任务。

• 引入了模体自动发现任务，能够自主挖掘图结构中的关键模式。

• 提出了一种跨匹配学习模块，用于更好地融合双层特征。

WSDM 2024 Unified Pretraining for Recommendation via Task Hypergraphs

方法：论文提出了一个名为UPRTH的多任务预训练框架，通过任务超图来表达复杂关系并利用超图学习从多任务预训练中捕捉先验知识，通过设计过渡注意力层自适应地学习辅助任务与推荐任务之间的相关性，解决了现有推荐系统中多任务预训练的不足。

创新点：

• 提出了UPRTH框架，首次实现推荐的统一多任务预训练，通过任务超图推广所有预训练任务。

• 设计了过渡注意力层，有效学习辅助任务与目标推荐任务的关联度，提升知识利用效率。

• 利用任务超图表达复杂任务关系，通过超图学习捕获先验知识，增强推荐系统性能和鲁棒性。

LREC-COLING 2024 Challenges in Pre-Training Graph Neural Networks for Context-Based Fake News Detection: An Evaluation of Current Strategies and Resource Limitations

方法：本文提出了GNNs预训练策略用于假新闻检测，实验显示预训练未显著超越从头训练，但揭示了小规模数据下的潜力，提出了未来研究方向，并强调了伦理及数据偏见考量。

创新点：

• 创新地将生成技术应用于GNN预训练，实现数据增强，或成解决数据稀缺的有效策略。

• 利用异构图结构建模多维度上下文信息，显著提升假新闻检测效果。

• 评估不同预训练策略在基于图的假新闻检测中的效果，小数据场景下观察到改进，研究潜力大。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“GNN预训练”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏