论文解读 | AAAI2024：从因果推理的角度重新思考图对比学习中的维度基本原理...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近日，软件所天基综合信息系统重点实验室研究团队的论文“Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective”被计算机科学领域顶级学术会议AAAI（CCF A，五年平均IS为31.1）接收，下面将对该论文做详细的解读，供大家交流学习。论文具体信息如下：

论文题目：

Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective

作者：

戢启瑞*，李江梦*，胡杰，王瑞，郑昌文，徐帆江

论文地址：

https://arxiv.org/abs/2312.10401

代码地址：

https://github.com/ByronJi/DRGCL

01

概述

图对比学习（GCL）是一种通用的学习范式，擅长从图中的多样扰动中捕获不变信息。最近的研究着重于从图中探索结构上的基本原理，从而增加不变信息的判别性。然而，这类方法可能导致图模型学习到噪声信息和任务无关信息，从而影响了模型的预测能力。为了探索图的内在可解释性，我们提出从图中捕获维度上的基本原理，并使用探索性实验证明其可行性。为了阐明维度基本原理所带来的性能改进的内在机制，我们从因果的角度重新思考图对比学习中的维度基本原理，并在预训练阶段进一步形式化变量之间的因果关系，构建相应的结构因果模型。基于对结构因果模型的理解，我们提出了维度基本原理感知的图对比学习方法，并引入了一个可学习的维度基本原理获取网络和一个冗余减少约束。此外，研究团队通过理论推导和实验验证两方面证明了方法的有效性。

图1 维度基本原理的探索性实验

02

动机与分析

RGCL的成功证明在图中探索基本原理可以促进模型学习GCL中的判别性的表示。RGCL专注于从图中探索结构性的基本原理，即包含与图的预测相关的特定边或节点的结构。图的基本原理指的是图特征的一个特定子集，它可以引导或解释模型的预测。然而，节点或通过边缘的消息传递所包含的特征仍然可能包含判别信息。因此，任意移除或分配图结构的权重可能会破坏学习到表示的判别能力。所以，我们在特征层面探索图维度基本原理对模型预测能力的影响。

我们用生化分子数据集PROTEINS和社交网络数据集RDT-B进行探索性实验。该实验通过随机保留某些维度，即表示的子集，同时阻塞其他维度，来探究表示维度对模型预测的影响，实验结果如图1所示。我们从结果中观察到只保留特定维度的图表示比原始表示具有更好的性能，这些维度被视为图的维度基本原理（DR）。探索性实验证明了DR的存在以及特殊的DR能对GCL的预测起到积极作用。

根据探索性实验的现象，我们构建了GCL预训练阶段的结构因果模型（SCM）来阐述维度基本原理、图表示以及图对比学习标签之间的关系，如图2。在SCM中，既能作用于又能作用于，所以是一条后门路径，是一个混淆变量。为了探究到的直接因果效应，我们使用后门准则干预、校正。后门校正的公式如下：

图2：SCM图

03

方法

图3：模型框架图

DRGCL的模型框架图如图3。在预训练过程中，我们采用传统图对比学习范式和元学习范式进行迭代。具体来说，DRGCL的训练流程包含两步。在第一个训练步，我们通过传统的图对比学习范式训练编码器、投影头和，这包括共同最小化对比损失和冗余减少损失。该训练的损失函数可以形式化表示为:

在第二个训练步，我们使用二阶导数来解决一个双级优化问题。我们鼓励重新加权特定的维度，以保留与任务相关的信息，这被视为图表示的维度基本原理，以便DRGCL可以在训练过程中通过后门调整来进行因果干预。具体来说，通过计算其相对于和在先进行一次试探步之后在对比学习损失上的梯度来更新。该训练步可以形式化表示为:

在预训练过程中，每个batch在不同时期都更新，从而获得对当前批有足够的自监督的局部。经过预训练后，所有的图对都有梯度贡献，因此获得了全局的维度基本原理。

04

理论

我们探索了提出的维度基本原理与之前的结构基本原理的关系，发现维度基本原理具有更强的表示能力，是结构基本原理的泛化解。此外，我们还证明了我们提出的方法（DRGCL）可以有效限制图对比学习下游分类损失的误差界。

05

实验

研究团队将DRGCL与多种不同的图对比学习方法在图分类基准数据集（TU-dataset）上进行了对比，结果表明DRGCL具有最先进的判别能力，如图4所示。DRGCL被进一步应用于图迁移学习基准数据集（CHEM），结果表明DRGCL具有更优的泛化能力，如图5所示。此外，研究团队还通过消融实验说明了所提出方法对模型性能提升的贡献及合理性。

图4：无监督表示学习结果

图5：迁移学习结果

我们将DRGCL与多种不同的图对比学习方法在图分类基准数据集（TU-dataset）上进行了对比，如图4。结果表明DRGCL具有最先进的判别能力。然后，DRGCL被进一步应用于图迁移学习基准数据集（CHEM），如图5。结果表明DRGCL具有更优的泛化能力。此外，我们还通过消融实验说明了所提出方法对模型的贡献及合理性。

提醒

点击“阅读原文”跳转到00:00:01

可以查看回放哦！

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1700多位海内外讲者，举办了逾600场活动，超700万人次观看。

我知道你

在看

哦

~

点击 阅读原文 观看更多！