NeurIPS'24 | 超越关系冗余的多重图结构学习框架

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

点击 阅读原文 观看作者讲解回放！

多重图（多关系图）是由多个跨越同类型节点的图层组成的特殊异构图，具有强大的数据建模能力。无监督多重图学习（Unsupervised Multiplex Graph Learning， UMGL）的目标是在不需要人工标记的情况下学习多关系图中的节点表征。

然而，现有的研究忽略了一个关键因素：图结构的可靠性。现实图数据通常包含大量与任务无关的噪声，严重影响了 UMGL 的性能。

此外，现有的方法主要依赖于对比学习来最大化不同视图之间的互信息，这将它们限制于多视图冗余场景。现实多关系图数据往往符合更为普适的非冗余准则，如何有效捕捉视图特有（独立）的任务相关信息成为了关键问题。

在该项研究中，我们关注一个更具挑战性和现实性的任务：如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？

为了解决这项挑战，来自电子科技大学的研究团队从理论层面严格定义了多重图非冗余，并提出了一种信息感知的无监督多重图融合框架（InfoMGF）。

该方法利用图结构学习来消除原始多图数据中的任务无关噪声，同时最大化视图共享和特有的任务相关信息，从而解决了非冗余多重图的前沿问题。理论分析保证了任务相关信息的有效学习和图融合的必要性。

在多种下游任务中，InfoMGF 超过了此前所有的无监督乃至有监督方法，具有优越的性能和鲁棒性。

作者简介

沈智翔，目前就读于电子科技大学。本论文共同第一作者为沈智翔和王硕，通讯作者为电子科技大学计算机学院的康昭副教授。

概述

该研究主要提出了推理边界框架（Reasoning Boundary Framework, RBF），首次尝试量化并优化思维链推理能力。

论文链接：

https://arxiv.org/abs/2409.17386

代码链接：

https://github.com/zxlearningdeep/InfoMGF

项目链接：

https://neurips.cc/virtual/2024/poster/93075

1. 研究动机

此前的 UMGL 方法在理解如何利用多关系图的丰富性知识仍然存在很大的缺陷，他们忽视了图结构的可靠性。图神经网络（GNN）中的消息传递机制通常依赖于固定的图结构。不幸的是，现实图数据中的结构并不总是可靠的，多关系图通常包含大量任务无关噪声，即不相关的、异配性的或缺失的连接。 

▲ 图1：多重图非冗余

鉴于无监督的任务特性，先前的模型主要采用对比学习机制来进行有效的训练。然而，近期的研究表明，标准的对比学习仅仅最大化不同视图之间共享的任务相关信息，忽略了每个视图的独立任务信息。

现实的多重图更可能是非冗余的（多重图非冗余的理论定义如下），与任务相关的信息不仅存在于多视图的共享区域中，还可能存在于某些视图的特有区域中。

例如，在真实引文网络 ACM 中，不同的研究人员撰写的属于同一主题的论文可能具有类别相关性。与 co-author 视图相比，co-subject 视图具有独立的任务相关信息。这暴露了现有 UMGL 方法中的一个关键局限性，即可能无法捕获充分的任务相关信息。

根据以上观察，研究目标可以概括如下：如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？

为了处理这项新任务，我们提出了一种新颖的信息感知的无监督多重图融合框架（InfoMGF）。本项研究的主要贡献有以下三方面：

• 研究方向：我们开创性地提出并探索了多重图的结构可靠性问题，这是一项更加实用和具有挑战性的任务。据我们所知，本项研究是首次尝试在多重图中进行无监督图结构学习。

• 算法设计：我们提出了 InfoMGF。基于多重图非冗余准则下，InfoMGF 同时最大化视图共享和特有的任务相关信息来引导融合图学习。此外，我们开发了随机增强和生成图增强两种策略来捕获视图特有的任务信息。相应的理论分析保证了 InfoMGF 的有效性。

• 实验评估：我们在多样的下游任务上与各种最先进的方法进行了广泛的实验比较，以全面评估 InfoMGF 的有效性和鲁棒性。大量可视化工作也帮助展示了图结构学习的效果。

2. 研究方法

2.1 图结构优化

多重图数据可以表示为  ，其中 是第  个图。我们首先使用图学习器生成每个视图的精炼图 。

为了同时保留节点特征和结构信息，我们采用 Simple Graph Convolution（SGC）在每个原始图中进行聚合，从而得到 view-specific node features 。

通过应用视图特定的两层注意力网络来建模不同特征对结构学习的不同贡献：

 指代哈达玛积。这一策略使我们能够在训练前获取特定视图的特征，从而避免了基于 GNN 的图学习器在训练过程中耗时的图卷积操作，这提高了我们方法的可扩展性。

随后，我们进行 post-processing techniques 以确保邻接矩阵  满足诸如稀疏性、非负性、对称性和归一化等特性。具体来说，我们使用  构造相似矩阵，然后使用 -最近邻（ NN）对其进行稀疏化。

然后，依次使用对称、激活和规范化等操作来生成最终的。之后，我们使用一个视图共享的 GCN 作为图编码器，以获得每个视图的节点表征 。

2.2 最大化共享和独立的任务相关信息

对于每对不同的视图，我们寻求最大化互信息 ，以捕获视图之间共享的任务相关信息。最大化目标可以转化为易于处理的优化下界为 。最小化损失项可以表示为：

正如前文所说，为了适应普遍的非冗余场景， 不仅应该包含视图共享信息，还应该捕捉视图独立的任务相关信息，即 。为鼓励模型在早期训练阶段更多地关注共享的任务相关信息，我们将优化目标放宽为视图中任务相关的总信息 。

由于缺乏标签信息，我们采用最优增强图 （满足 ）来提供指导。后文通过理论证明了最优增强图在最大化任务相关信息  的有效性，为无监督学习奠定了理论基础。

在实验中， 是借助启发式方法来得到的。与大多数图增强研究一致，我们认为图数据中的任务相关信息同时存在于结构和特征两个方面。

特征增强采用了简单有效的随机掩码。对于结构增强，我们除了尝试随机删边（InfoMGF-RA），还提出了一种可学习的生成式图增强（InfoMGF-LA）。得到增强图后，捕捉视图独立的任务相关信息的损失项被定义如下：

2.3 可学习生成式图增强（InfoMGF-LA）

随机删边可能缺乏可靠性和可解释性。较低的丢弃概率不足以消除任务无关的噪声，而过多的删除则会损害任务相关的信息。因此，我们选择使用可学习的图增强生成器。

为了避免误导性结构信息所造成的干扰，我们基于节点特征的深层映射来对原始边进行个性化的概率建模。为了确保端到端训练中采样操作的可微性，我们引入了 Gumbel-Max 重参数化技巧，将边权重的离散二元（0-1）分布转换为连续分布。

具体来说，对于视图  中的每条边 ，其在相应增强图中的边权重 ω 计算如下：

 是采样的 Gumbel 随机变量。对于良好的增强图，它一方面要与原始数据保持差异，另一方面也应保留任务相关的信息。因此，我们设计了一个合适的损失函数用于增强图训练：

其中  是正超参数。第一项使用余弦误差重建 view-specific node features，确保增强图保留关键的任务相关信息。第二项最小化  以约束增强图。

这一正则项确保在保留任务相关信息的同时最大程度地引入差异性，以实现数据增强。InfoMGF-LA 采用了一种迭代交替优化策略，交替更新精炼图  和增强图 ，算法流程细节详见原文。

2.4 多关系图融合

有效的精炼图保留了每个视图中任务相关信息，同时消除了任务无关噪声。最后，我们学习一个融合图，以封装来自所有视图的充分的任务相关信息。我们同样利用可扩展的注意力机制作为融合图学习器：

模型的整体损失由以上三项组成 。注意到，所有损失项都需要计算互信息。

然而，由于图结构数据的复杂性，直接计算两个图之间的互信息是不切实际的。由于我们专注于节点级任务，我们假设结构优化应保证每个节点的邻域子结构包含充分的任务相关信息。因此，优化目标可以转化为节点表征之间的互信息，这可以通过基于样本的可微下界/上界实现有效估计。

对于任意视图  和 ，互信息  的下界  和上界  为：

其中  是由神经网络近似的评价器， 是从  插入到  目标中的最佳评价器。 表示视图  和  节点表征的联合分布，而  表示边缘分布。

总损失  中的每一项要最大化互信息，我们采用互信息下界  进行优化；而增强图生成器损失  则需要最小化互信息，我们采用互信息上界  进行优化。

2.5 模型架构 

▲ 图2：InfoMGF 整体框架

3. 理论贡献

3.1 最优图增强

定理 1 理论上确保最大化  将为学习  提供清晰且充分的任务相关指导。定理 2 证明了我们的优化目标在去除与任务无关的噪声方面优于传统的图结构重构方法。

3.2 图融合

定理 3 从理论上证明，学习到的融合图  比单独考虑任何单一视图下的精炼图  包含更多的任务相关信息，这体现了多重图融合的必要性。证明过程详见原文。

4. 实验结果

我们在节点聚类和节点分类任务上对融合图进行评估。对于节点聚类，我们对融合图  的节点表征  应用 K-means 算法，并使用以下四个指标：准确性（ACC）、规范化互信息（NMI）、F1 得分（F1）和调整后的 ARI 指数。

对于节点分类，我们在  上训练一个新的 GCN 进行评估，并使用以下两个指标：Macro-F1 和 Micro-F1。从实验结果中可以看出，无论是何种下游任务，与其他多重图方法相比，我们方法的两个版本都超越了现有的最优方法。

此外，由于可学习的生成图增强在捕获每个图特有的任务相关信息方面的卓越能力，InfoMGF-LA 取得了显著的优异效果。 

▲ 图3：节点聚类实验结果 

▲ 图4：节点分类实验结果

为了评估 InfoMGF 对噪声的鲁棒性，我们通过随机加边，随机删边，和随机特征掩码来干扰 ACM 数据集上的每个图。我们将 InfoMGF 与各种基线进行比较：结构固定方法（GCN）， GSL方法（SUBLIME）和 UMGL 方法（HDMI）。

可以明显看出，随着边缘扰动率的增加，各方法的性能下降，而 GSL 方法（即InfoMGF 和 SUBLIME）表现出更好的鲁棒性。而在特征掩码率增高的过程中，SUBLIME 无法获取高质量的节点特征，从而性能迅速下降。相比之下，InfoMGF 可以利用丰富的多重图信息，从而减少对节点特征的依赖。

值得注意的是， InfoMGF 在多种实验设置中始终优于所有对比方法，展现了优越的鲁棒性。 

▲ 图5：鲁棒性分析

我们从 ACM 数据集中选择一个子图，其节点包含两类（数据库（C1）和数据挖掘（C2）），并可视化原始多重图和 InfoMGF-LA 学习的融合图  中的边权重。

从图 6 可以看出，融合图主要由类内边组成。与几乎完全连接的 PSP 视图相反，InfoMGF 显着减少了类间边缘，反映出我们方法有效去除了与任务无关的噪声。与 PAP 视图相比，InfoMGF 引入了更多类内边缘，受益于从所有图中捕获共享和独特的任务相关信息。

此外，融合图中不同的边权重代表不同的重要性级别，能够更好地服务于下游任务。我们进一步可视化了融合图节点表征。图 7 显示了表征的节点相关性热图，其中行和列均按节点标签重新排序。

在热图中，较暖的颜色表示节点之间的相关性较高。很明显，同一类别节点之间的相关性明显高于不同类节点之间的相关性，这主要是由于  更多包含类内边缘。图结构和节点可视化进一步验证了 InfoMGF 在无监督图结构学习中的有效性。

▲ 图6：图结构可视化

▲ 图7：节点表征相关性可视化

5. 总结与未来展望

首次对现实多关系图中的结构可靠性和非冗余问题进行了深入研究。所提出的无监督图结构学习框架 InfoMGF 对多重图结构进行了精炼与融合，以消除与任务无关的噪声，同时最大化不同图之间共享的和特定的任务相关信息。理论和实验均证明了我们方法的有效性。

然而，本项研究的一个局限性在于只关注了纯粹的无监督场景。在部分标签可用的现实场景中，可以使用标签信息来为异构图学习更好的图结构。这种监督或半监督问题留给未来探索。

往期精彩文章推荐

‍‍

论文解读 | NeurIPS'24 更快的扩散：重新思考扩散模型推理中编码器的作用

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。

 

我知道你 

在看

提出观点，表达想法，欢迎 

留言

点击 阅读原文 观看作者讲解回放！