WWW 2025 | 即插即用、轻松涨点！用不确定性助力图结构学习，提升GNN性能-CSDN博客

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/145866701

©PaperWeekly 原创 · 作者 | 韩申

单位 | 浙江大学

研究方向 | 图数据挖掘

论文题目：

Uncertainty-Aware Graph Structure Learning

论文地址：

https://arxiv.org/abs/2502.12618

动机

图神经网络（GNN）在处理图结构数据上具有卓越的效果。随着模型架构的不断演变，GNN 的性能也在不断提升。然而这些基于模型架构的方法忽视了图结构自身存在的缺陷。例如，图结构常常会出现错误边和缺失边等数据问题，从而限制模型的效果。

为了解决上述问题，图结构学习算法（GSL）近年来备受关注。GSL 的目的在于优化结点连接和边权重来生成新的邻接矩阵，该矩阵可以有效提升 GNN 在下游任务中的准确性，同时强化图数据应对各种攻击的鲁棒性。主流的 GSL 模型通过计算结点之间的嵌入相似度来构建新的邻接矩阵：

其中是结点的嵌入矩阵，是度量函数，如 cosine 相似度等。基于相似度的 GSL 模型通常能够霸榜各种图数据集 benchmark，其本质在于提高图的同质性，使得具有相同标签的结点连接的概率增大。但是，基于相似度的 GSL 模型存在两个致命缺陷：

1. 建立连接时只依赖嵌入相似度而忽略了结点的信息质量。

在 GNN 中，边是信息传播的渠道。从邻居结点接收模糊劣质的信息会干扰目标结点的嵌入学习。为了验证这一观点，我们首先使用了一种代表性的 GSL 模型生成邻接矩阵，然后移除了一定比例的高信息熵邻居结点。实验发现该措施可以显著提升 GNN 的性能。

2. 图结构的对称性限制了 GNN 捕捉复杂关系的能力。

当前的 GSL 模型强制约束结点之间构建对称连接。这意味着在信息聚合时，两个结点之间的相互影响是相同的。但实际上结点之间的信息质量存在着差异。直观上，高质量结点能够提供有益的信息，而低质量节点反而会输出劣质的信息。对称性结构无法应对这种信息质量差异，因此需要评估结点的信息质量来构建非对称结构。

方法

2.1 分析邻居结点不确定性的影响

在本文中，我们使用不确定性（信息熵）来衡量结点的信息质量。我们首先通过实验论证：聚合高熵邻居的信息会导致目标结点的熵增大。具体来说，我们在给定的数据集上训练单层 GCN 和线性分类器，并可视化了目标结点的信息熵以及邻居在聚合前的平均熵。

如图所示，我们观察到：结点的信息熵与邻居聚合之前的平均熵存在强正相关。这一发现表明：盲目地连接和聚合来自高熵结点的信息可能会污染目标结点自身的嵌入向量。因此，我们需要在图结构学习中考虑结点的不确定性，以学习合理的非对称结构。

我们也从理论角度证明从高熵结点聚合信息会提高目标结点的信息熵下界，感兴趣的同学可以看原文。

2.2 将结点不确定性融入图结构学习中

我们提出 UnGSL（Uncertainty-aware Graph Structure Learning），一种可以无缝整合至现有 GSL 模型的轻量级插件。该方法利用可学习的结点阈值来自适应区分低熵邻居和高熵邻居，并根据它们的熵等级调整边权重。这种方法不仅提高了图结构的灵活性，还能有效过滤掉低质量的结点信息。

如何使用 UnGSL 呢？首先，预训练给定的 GSL 模型来获得分类器，并计算结点的熵，将其转化为 0 到 1 之间的置信度分数。

随后，UnGSL 为每个结点设置可学习的阈值，并重新训练 GSL 模型。在训练中，UnGSL 增强来自高置信度邻居的边权重，同时降低来自低置信度邻居的边权重。总之，我们将现有 GSL 中邻接矩阵的生成从前文的公式（4）优化为公式（10）：

其中是邻居的信息熵，是结点的可学习阈值，是原 GSL 模型生成的邻接矩阵。是激活函数：

其中，是 Sigmoid 函数，是控制强化高置信度邻居边权重的超参数，是控制弱化低置信度邻居边权重的超参数。注意在训练时，UnGSL 采用和原 GSL 模型一致的损失函数和训练步骤。只不过我们将邻接矩阵从替换为。因此，UnGSL 可以与现有的 GSL 模型无缝衔接，同时仅带来微量的计算开销。

2.3 UnGSL的优势

即插即用：UnGSL 利用结点的不确定性来优化学习到的邻接矩阵。本质上，UnGSL 只是将邻接矩阵的计算从公式（4）替换为公式（10）。因此，UnGSL 可以无缝整合到现有的 GSL 方法中，进一步提升它们的图学习能力。

轻量级：UnGSL 仅包含 n 个可学习参数，只优化给定图的现有边，而不生成新的边。UnGSL 引入的额外运算的复杂度为*O(n+m)*，其中 n 和 m 分别表示图中的结点和边的数量。因此，UnGSL 对原 GSL 模型施加的计算成本较小，使得 UnGSL 可以高效率的提升模型性能。

适用于无监督学习场景：尽管绝大多数 GSL 方法采用有监督学习，但我们的方法可以推广到无监督的 GSL 模型。关键在于确定适合无监督 GSL 模型的不确定性指标。我们建议采用结点对比学习损失作为不确定性指标，具体可以表示为：

其中是 cosine 相似度函数，和分别是结点在原图和扩充图上的嵌入。结点对比损失可以衡量结点嵌入对特征或结构扰动的不变性，这种不变性可以被解释为结点相对于其原始特征和结构的不确定性。

实验

为了综合评估 UnGSL 在精度、鲁棒性、效率方面的性能，我们将 UnGSL 策略运用在 6 个先进的 GSL 模型，并在 7 个数据集上进行实验验证，结果如下：

准确性（Table 1）：UnGSL 全面优于基础 GSL 模型，平均精度提升为 2.07%。尤其在 GRCN 模型上的提升达到了 5.12%。
鲁棒性（Table 2）：分别引入结构化噪声、特征噪声和标签噪声进行测试，UnGSL 可以持续的提升 GSL 模型的精度。且随着噪声强度的增加，UnGSL 可以实现更大的相对提升，证明了 UnGSL 对于不同噪声的鲁棒性。
效率（Table3）：对比原 GSL 模型和 UnGSL + GSL 模型在大尺寸数据集 OGBN-Arxiv 上的效率，UnGSL 仅增加了 8.71% 的收敛时间和 2.97% 的 GPU 空间。

总结

我们进行了理论和实验分析，证明高熵邻居对目标结点的嵌入学习存在负面作用。在此基础上，我们提出了 UnGSL 策略，这是一种轻量级的插件模块，可以与最先进的 GSL 模型无缝集成，并以较小额外计算开销提升性能。UnGSL旨在优化结点阈值，以区分低不确定性和高不确定性邻居，并根据每个节点的置信度等级自适应地优化图结构。

更多阅读