论文解读 | AAAI2024：引入层次拓扑同构专家知识的图对比学习方法

AITIME论道

于 2024-01-26 18:37:44 发布

阅读量1.2k

点赞数

文章标签：学习方法

原文链接：https://mp.weixin.qq.com/s?__biz=MzIzOTAxOTk3Nw==&mid=2247521794&idx=1&sn=bf36e4e1f6875b1ffbbf4b03043a69d9&chksm=e8df5f3cb7d58703263d4c8b103383e162e682e9f3c6393a14fd1266568fefc9f1ca35733558&scene=126&sessionid=0

版权

本文介绍了一项研究，提出了一种新颖的图对比学习方法，通过引入层次拓扑同构专家知识，结合知识蒸馏，改善了模型对图中拓扑结构的理解。实验结果显示，这种方法在无监督表示学习和迁移学习任务上表现出色，优于现有图对比学习模型。

摘要由CSDN通过智能技术生成

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近日，软件所天基综合信息系统重点实验室研究团队的论文“Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning”被计算机科学领域顶级学术会议AAAI 2024（CCF A，五年平均IS为31.1）的Fast Track for NeurIPS 2023接收，下面将对该论文做详细的解读，供大家交流学习。论文具体信息如下：

论文题目：

Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning

作者：李江梦*，靳毅凡*，高航，强文文，郑昌文，孙富春

论文地址：

http://arxiv.org/abs/2312.14222

代码地址：

https://github.com/jyf123/HTML

概述

图对比学习（GCL）旨在通过最小化正负样本对的对比损失，从而在潜在空间中对齐正样本特征，同时区分负样本特征。作为一种杰出的无监督图表示学习方法，GCL在各种与图相关的基准任务中取得了令人瞩目的成就。然而，目前的方法在识别图的拓扑同构性方面存在不足，导致图中相对同构的节点的特征无法被充分识别。通过回顾经典的图对比学习方法，发现目前的图对比学习方法多关注于特征级信息，而忽视了拓扑级信息。为此，我们提出了一种新颖的引入层次拓扑同构专家知识的图对比学习方法，该方法采用知识蒸馏技术，使GCL模型能够学习图层和子图层的拓扑同构专家知识。同时，该方法具有即插即用的特点，适用于多种最先进的GCL模型。此外，我们基于贝叶斯决策规则给出了可靠的理论分析，证明与传统的GCL方法相比，我们的方法获得了更严格的贝叶斯分类误差上限。

动机与分析

图对比学习方法的一个主要挑战是如何充分探索异构判别信息。图数据与自然数据结构（如图像和视频）存在天然的差异，作为人工衍生的离散数据结构，图数据包含两种关键的潜在判别信息：特征级信息和拓扑级信息。得益于图神经网络强大的非线性映射能力，图对比学习方法能够有效地探索特征级判别信息。然而，最近的研究表明，与基于拓扑专家知识的方法相比，基于图神经网络的图对比学习方法只能模拟相对有限的拓扑级判别信息。

为此，我们致力于探索基于拓扑专家知识的方法和基于图神经网络的图对比学习方法在捕获判别信息方面的知识差异。如图1所示，探索实验证明，基于图神经网络的基准图对比学习方法，即GraphCL，不能有效地学习拓扑专家知识，因此，将这种图拓扑专家知识引入基于图神经网络的图对比学习方法会引发判别性能的急剧上升。具体而言，我们通过实验结果得出结论：拓扑专家知识与基于图神经网络的图对比学习方法是互补的，并且谨慎地融合拓扑级和特征级判别信息可以显著提高模型在无监督图表示学习上的性能。

图1 有关基准图对比学习方法能否学习到拓扑专家知识的探索实验。

方法

图2：模型框架图

以上述分析为基础，我们在图对比学习模型中隐式地引入图拓扑专家知识，并提出了一种即插即用的方法，即引入层次拓扑同构专家知识的图对比学习（Hierarchical Topology isomorphism expertise embedded graph contrastive Learning, HTML）。HTML采用知识蒸馏技术，将图层和子图层拓扑同构知识引入到基准图对比学习方法中，模型框架图如图2所示。为了对具有不同拓扑结构的图进行全局分类，我们将Weisfeiler-Lehman（WL）测试作为图层专家系统，识别图层拓扑同构专家知识，之后引导基准图对比学习方法学习这一知识。作为对全局信息的补充，我们引入计算重叠子图的结构系数的方法作为子图层专家系统，计算子图层拓扑同构知识，同时也引导基准图对比学习方法学习子图层拓扑同构知识。

理论

在假设每一类的数据服从高斯分布的情况下，根据贝叶斯决策规则，分别分析了传统图对比学习方法和HTML的贝叶斯误差界。研究团队首先给出了所提出的HTML与常规图对比学习方法的贝叶斯误差界的形式化表示：

进而，通过理论分析证明了与传统的图对比方法相比，所提出的HTML实现了相对更严格的贝叶斯误差界：

最终，从理论角度验证了HTML的性能优势。

实验

在实验部分，论文以17个真实世界数据集、4个图对比学习模型为基准，进行了丰富的实验。以GraphCL为基准模型实现的HTML方法在无监督表示学习和迁移学习任务上的性能表现如图3和图4所示，实验结果表明，我们提出的方法与最先进的图对比学习方法相比，表现出了最佳的判别性能，与上述分析相照应。此外，我们还以RGCL、PGCL、BGRL等图对比学习方法为基准模型进行了实验，我们提出的HTML均取得了最好的结果。