「读论文」A-GCL: Adversarial graph contrastive learning for fMRI analysis... A-GCL：构建对抗性图对比学习模型用于诊断神经发育障碍

A-GCL: Adversarial graph contrastive learning for fMRI analysis to diagnose neurodevelopmental disorders

A-GCL：构建对抗性图对比学习模型用于诊断神经发育障碍

概要

神经发育障碍疾病是一种严重影响儿童健康和家庭生活的慢性脑功能障碍性疾病，主要包括自闭症谱系障碍（ASD）、智力障碍及注意力缺陷多动障碍（ADHD）等。全球大约有15%的儿童和青少年受到这些疾病的影响。研究这些疾病的诊断和分类对于有效的早期干预或治疗、提高患者生活质量以及减轻家庭负担至关重要。目前，这些疾病的诊断主要依赖于临床专家对异常行为的量表评估，这些评估可能包含观察者内部和观察者间的主观差异。

功能性磁共振成像（fMRI）作为一种无创的成像方法，可以通过血氧水平依赖（BOLD）信号来反映脑区之间的功能连接，提供了一种较为客观的认知和情感测量方式。因此，如何利用fMRI信号构建鲁棒的神经网络以实现对神经发育障碍疾病的分类诊断是一个重要的科学问题。

近日，实验室张孝勇课题组以《A-GCL：构建对抗性图对比学习模型用于诊断神经发育障碍》（A-GCL: Adversarial Graph Contrastive Learning for fMRI Analysis to Diagnose Neurodevelopmental Disorders）为题发表在医学图像计算与计算辅助干预学会（MICCAI）的官方期刊 《Medical Image Analysis》。

针对神经发育障碍疾病的分类诊断的问题，利用fMRI数据，研究团队提出了一种新的图神经网络模型（A-GCL，图1）。该模型有效地将fMRI的BOLD信号构建成图的非欧数据结构，具体是以功能连接的皮尔逊相关矩阵构成图的边信息，以BOLD信号的低频振幅（ALFFs）构成图的节点信息。构图之后，我们设计了一个可学习的伯努利掩码去减少冗余的功能连接，以提升网络的分类性能。同时，利用了对比学习的思想，将整个网络流程设计成自监督学习和监督学习的Two-stage的训练方式。上述学习过程，我们称为“对抗-对比”学习。另外，为了提升对比学习的能力，我们设计了一个动态的“记忆银行”存贮不同batch之间的隐向量，从而达到增加负样本多样性的目的。通过上述网络设计思想，我们的研究目标是实现神经发育障碍疾病的准确分类诊断。

研究团队在3个数据集上进行了A-GCL与其他十种竞争的最先进方法（SOTA）的效果比较，这3个数据集包括2个自闭症谱系障碍脑影像数据（ABIDE I和ABIDE II）和一个注意力多动缺陷障碍脑影像数据（ADHD-200）。

如表1所示，A-GCL在曲线下面积（AUC）、准确率（accuracy）、精确率（precision）、召回率（recall）等指标方面均优于传统的机器学习方法和基于图神经网络的SOTA方法。

研究团队还进行了大量的消融实验，涵盖了不同模板、图神经网络编码器、编码维度、损失函数和图数据增强方式。此外，还验证了对抗学习的有效性以及节点特征和边权重的有效性（图2）。除了数值结果外，本研究还进行了与A-GCL的解释性相关的实验，包括伯努利掩码的可视化、生物标志物在脑区和功能连接层面的可视化等方面的实验。

研究结果显示，A-GCL不仅在算法性能方面表现出优越性，而且通过A-GCL提取的生物标志物在脑区层面与已知的临床重要脑区具有高度的重叠。同时，两个ABIDE数据集（ABIDE I 和 ABIDE II）中的重要脑区之间显示出显著的相关性，而ABIDE数据集与ADHD之间的相关性相对较低，进一步验证了A-GCL特征提取的有效性。上述结果表明A-GCL在神经发育障碍诊断方面具有显著的优势。

这为我们对神经发育性疾病的理解提供了新的视角，并为未来的潜在基因分析和可能的亚型分类提供了新方法。

复旦大学计算神经科学与类脑智能教育部重点实验室博士生张圣杰、陈翔及北京师范大学的博士生沈昕为该论文的共同第一作者。上海科技大学沈定刚教授和电子科技大学蒋希副教授对本文做出了重要贡献。计算神经科学与类脑智能教育部重点实验室张孝勇青年研究员为论文的通讯作者，复旦大学大数据学院周渊青年研究员为共同通讯作者。本课题受到国家自然科学基金、上海市科技重大专项等经费赞助。

内容

摘要

神经发育障碍的准确诊断是一项具有挑战性的任务，因为耗时的认知测试和潜在的人类偏见。为了解决这一挑战，我们提出了一种新的基于图对比学习的对抗性自监督图神经网络（GNN），称为A-GCL，用于使用功能磁共振成像（fMRI）诊断神经发育障碍。利用GNN在fMRI诊断精神疾病中的成功应用，我们提出的A-GCL模型有望提高诊断性能，并提供更稳健的结果。

A-GCL将从fMRI图像中构建的图作为输入，并使用对比学习提取特征进行分类。该图以低频波动振幅（ALFF）的3个波段作为节点特征，并由不同时间序列的平均fMRI时间序列的皮尔逊相关系数（PCC）组成大脑区域作为边缘的权重。对比学习产生了一个edg从可训练的伯努利掩模中删除图，提取对图的小变化不变的特征。实验结果在三个数据集（自闭症脑成像数据交换（ABIDE）I、ABIDE II和注意缺陷多动障碍（ADHD））上，使用三个图谱（AAL1、AAL3和Shen268）进行的实验结果证明了A-GCL与其他基于GNN的模型的优越性和普遍适用性。广泛的消融研究验证了所提出的方法对图谱选择和模型变化的稳健性。解释性结果揭示了与神经发育障碍相关的关键功能连接和脑区。

介绍

由于从静息状态功能磁共振成像（rs-fMRI）中提取的脑功能连接（FC）可以揭示异常的脑功能连接，因此它被广泛应用于神经发育障碍的诊断，如自闭症谱系障碍（ASD）和注意缺陷多动障碍（ADHD）（Canario et al.，2021）。目前，这些精神疾病的诊断主要依赖于临床专家对异常行为的主观评价。这些认知和精神评估可能包含观察者内部和观察者之间的差异。

功能磁共振成像（fMRI）通过可以动态揭示大脑功能性连接变化的血氧水平依赖性（BOLD）信号测量大脑区域之间的功能性连接（FC） ，提供了一种观察认知和情感过程的非侵入方法。由于fMRI 数据作用于大脑功能的定性测量，所以它们可以用于准确诊断，同时避免与被观察者相关的差异性。此外，通过研究患者和正常对照组 NC 之间的 fMRI 之间的差异性，他们可能会揭示大脑中疾病特异性的变化。

相关工作

这部分主要介绍一些相关工作，主要看 GNN 相关吧
其中，由于 GNN 其强大的图嵌入能力，已经成为一种非常有吸引力的大脑网络建模框架。
通常，这些基于 GNN 的模型可以分为两类，图分类和节点分类。图分类利用 GNN 作为非线性函数，该函数将 fMRI 图像中的图作为输入并输出类标签。

例如，BrainGB 为脑网络分析提供了一个标准的pipeline，包括节点特征构建、消息传递和图池化。
BrainGNN 利用池化正则化来提取图级表示，利用全局共享掩码来增强 GNN 主干的rs-fMRI的分类能力，在多个数据集上取得了有希望的结果。池化正则化 GNN 在消息传递过程中使用了边缘池策略来去除一些边。Kim 等人提出了一个时空注意力 GNN，将 GNN 和 Transformer相结合，以增强表示能力。Chen 等人基于节点-边图注意力网络 NEGAT 进行了图分类，它将sMRI 和 rsfMRI 数据相结合来构建该图。InceptionGCN 利用感受野感知图卷积网络来预测疾病。

节点分类将所有的数据组合起来形成单个总体图，其中每个节点都是对应于 fMRI 图像的实例，需要进行分类。例如，Cao 等人将非成像数据-站点、性别、智商、年龄引入边权值的计算，然后引入 16 个残差 GNN 层进行节点分类。Hi-GCN利用层次图卷积网络将嵌入的图表示为分类的节点特征。周等人提出了一种图中图网络，利用从 GCN 中提取的特征和非成像数据构建一张总体图。张等人使用rs-fMRI 构建了一个用于大脑疾病分类的局部到全局GNN，通过应用不同的图谱(atlases)增加了群体图的节点数量。然后，使用 GCN 层通过半监督学习对节点进行分类。

随着对比学习的出现，它在自然图像分类种取得了很好的性能。图对比学习 GCL 已成为处理rs-fMRI数据的有效方法。对于每个图，通过将该图的增广版本视为正样本，将其他图视为负样本，GCL 试图学习在正样本的嵌入空间中接近原始图、而在负样本中远离原始图的表示。GCL 已经应用于 fMRI 分析中的图和节点分类任务。Yang 等人研究了用于脑网络分析的基于对比学习的 GNN 预训练，并提供了一些对比学习目标的选择。彭等人提出了用于时间自监督学习 GATE 的图规范相关分析，该分析利用滑动窗口构建 fMRI的正样本，然后进行半监督学习以进行节点分类。

王等人提出了对比图学习 CGL，利用对比学习创建节点特征，然后使用总体图进行节点分类。所提出的 CGL 计算截断的 BOLD 信号的相关性以构建正样本。所有上述方法都利用 BOLD 信号来构建用于对比学习的正样本。另一种方式是利用额外的 GNN 编码器进行对比学习。与池化正则化 GNN 类似，提出一种分层签名图池化模型，使用两种边缘池化策略来生成对比学习的特征。

尽管这些 GNN 模型在使用rs-fMRI诊断脑补疾病方面取得了有希望的结果，但他们仍然存在一些问题。首先，对于节点分类，一些方法使用额外的非成像信息来构建种群图。然而当出现具有非成像特征的新测试实例时，我们需要计算其与图中所有现有节点的相似性，以更新总体图。因此，必须更新 GNN 的权重以包含新实例。与以往传统的图分类算法相比，测试过程中的这种复杂性使其更加复杂。此外，在某些情况下还有可能缺少非成像信息，这阻碍了其纳入总体图。其次，对于图的分类，目前的大多数方法只使用邻接矩阵中的信息，忽略了构造合理的节点特征，导致性能不理想。第三，在当前的自我监督模型中创建正样本可能并不理想。例如，GATE 和 CGL 假设从 BOLD 信号的某些部分生成的图可以当做正样本。然而，BOLD 信号的任意截断可能会产生一个不如从完整信号中获得的图的图。为了解决这些问题，我们提出了一个新的GNN 框架，用于稳健地分析 fMRI，以诊断神经发育障碍。

贡献

受图对比学习的启发，我们提出了一种对抗性图形对比学习（A-GCL）框架，仅基于fMRI数据进行二元分类，为了便于临床应用，我们使用图形分类，这意味着一个患者的 fMRI 数据会产生一个独立的图。不是使用传统的节点特征构造，而是根据 BOLD 信号计算低频波动幅度ALFF 的三个不同频带，然后将其链接为节点特征。这些特征在消息传递过程中进行更新。然后，将更新后的特征转换为 mask 掩码，该掩码用于进行自适应边丢弃，概率遵从伯努利分部。我们称这个掩码为伯努利掩码。该过程中的参数通过具有对抗性损失的对比策略进行训练。与当前最先进 SOTA 方法相比，A-GCL 使用原始图及其边缘下降版本进行对比学习和特征提取。提取的特征可以通过线性分类器进行分类，用于疾病诊断。剩余的在训练了伯努利掩码后边权重可以作为疾病的生物标志物进行分析，类似于掩码引导的 GNN 但是不适用对比学习的解释策略。

与截断 BOLD 信号相反，我们使用完整的 BOLD 信号构建图，然后从该图中学习的伯努利掩膜，以丢弃随机边，从而在对比学习中生成正样本。这种伯努利掩码的想法是由掩码自动编码器 MAE 在视觉任务中的成功推动的。在 MAE 中，输入图像的一些补丁被随机屏蔽掉，而剩余的未屏蔽补丁被用来表示整个图像。该策略基于原始图像中存在冗余信息的假设，自监督学习可以有效的消除这些信息。同样，在我们的工作中，我们采用了类似的观点，假设从 fMRI数据中获得的图的邻接矩阵中存在冗余信息。因此，我们目标是利用对比学习来去除这些冗余信息，并增强图的表示。

我们方法的另一个值得注意的方面是实现了动态内存库，它能收集负样本的特征。通常，内存库包含来自同一批的负样本特征。然而，对比学习的表现在很大程度取决于同一批的负样本特征。对于增加阴性样本的数量，一种方法是组合来自所有训练批次的样本。然而，这种做法会导致 GPU 内存使用过多。在这项工作中，我们使用队列来存储同一批次的样本特征以及不同批次的样本特性。队列中的示例特性在迭代过程中动态的更新。这使得我们可以增加负样本的多样性，同时有效地管理 GPU 内存开销。

我们在ABIDE I ABIDE II ADHD-200 数据集上验证了我们提出的方法。在三个不同的图谱（AAL1 AAL3 Shen268）上进行广泛的实验表明，A-GCL 框架显著优于其他的 SOTA 方法。我们工作的主要贡献总结如下：

1. 使用动态记忆库的对抗性对比学习：A-GCL 基于伯努利掩码对吃从原始图及其边缘丢弃版本中提取的特征进行对比学习。这使得所学习的特征能够独立于类标签，并真正表示图在欧几里得空间的嵌入。此外，实现了一个动态存储器以进一步增强改特征提取过程。
2. 多个数据集和图谱：A-GCL 在两种神经发育疾病、3 个rsfMRI数据集和 3 个不同图谱上进行评估。与其他竞争模型相比，A-GCL 获取了最好的性能，证明了其优越性和可推广性。
3. 消融实验：进行了广泛的消融研究，包括 ABIDEI、ABIDEII 的迁移学习、嵌入维度、GNN 编码器、图扩充策略、对抗性训练策略、边缘权重和节点特征的影响，以验证 A-GCL 的稳健性。
4. 解释：进行解释性分析，包括伯努利掩码的可视化和重要的 ROI，以识别与疾病相关的大脑区域。这些大脑区域可以用作进一步了解这些疾病（ASD、ADHD）的生物标志物。

方法

如上图所示。
首先，从fMRI数据中提取两种信息-> 表示边连接的邻接功能性连接 FC 矩阵和一组 ALFF 节点特征去构建图。然后将这个图馈送到 A-GCL 网络中，以产生将用于分类的潜在特征。最后，对相关脑功能区和重要区域进行了分析，以供解释。

图构建

给定一个图谱，fMRI图像被分割成许多 ROI。每个 ROI 被视为一个节点，并且这些 ROI 中任意一对之间的功能连接被视为边以形成图。在每个 ROI 中，通过对该区域的所有 BOLD 信号求平均值来计算平均时间序列。边权重通过两个区域的平均时间序列之间的皮尔逊相关系数来计算。节点特征来源于 BOLD 信号中 ALFF 的 3 个频带 (Slow-5: 0.01–0.027 Hz, Slow-4: 0.027–0.073 Hz, classical: 0.01–0.08 Hz)，定义为低频范围内的总功率，并根据平均时间序列的傅里叶变换计算。请注意，ALFF 作为节点特征的有效性已经在之前的几项研究中得到证明。

生成的图表示为 G = (V,A,X,E)

where 𝑉 = {𝑣 ∶𝑣 = 1, …,𝑀} represents the set of nodes

𝐴 = [𝑎𝑢𝑤 ∶ 𝑢, 𝑤 ∈ 𝑉 ] ∈{0, 1} 𝑀×𝑀 represents the adjacency matrix indicating if there exists an
edge between two nodes (𝑎𝑢𝑤 = 1)

𝑋 = {𝑥𝑣 ∈ R3 ∶ 𝑣 ∈ 𝑉 } represents the set of node features

𝐸 = [𝑒𝑢𝑤 ∈ R ∶ 𝑢, 𝑤 ∈ 𝑉 ] ∈ R 𝑀×𝑀 the matrix of edge weights, 𝑀 is the number of nodes/ROIs.

邻接矩阵用所有 1 初始化。通过从所有 3 个通道中减去最小值并将结果除以最大值和最小值的差，将节点特征归一化为[0,1]，通过将每个边权重除以绝对值的最大值，将边权重归一化为[-1,1]

A-GCL

该图通过一个图同构网络（GIN）块、一个特征连接和一个MLP层来形成一个增强图，用于学习对小变化不变的特征。
每个层都通过使用消息传递进程来更新节点特性。让某一个节点 𝑣 ∈ 𝑉 的相邻节点集用Nv表示，消息传递过程根据下式子

f(k) 是一个将相邻节点特征和边权值转换为聚合向量的函数。
𝑔（𝑘）是一个可训练的函数，它将当前的节点表示和聚合的向量映射到一个新的表示。
这里，𝑓（𝑘）是节点特征和边权值的加权和，𝑔(𝑘)是一个MLP层。因此，消息传递过程是：

其中，𝐻（𝑘）是一个矩阵，行为{ℎv（𝑘）}，◦ 表示阿达玛乘积（元素级乘法）
𝟏是一个𝑀维向量
由所有𝟏的，𝑊1（𝑘）∈R𝑑（𝑘−1）×𝑑，𝑏（1𝑘）∈R1×𝑑和𝑊2（𝑘）∈R𝑑×𝑑，𝑏（2𝑘）∈R1×𝑑组成的都是可训练的参数，𝑑(0) = 3和𝑑(1) =𝑑，BN表示批处理规范化操作。GIN块的目的是学习节点特征𝑥𝑣=ℎ(2)𝑣的潜在表示，它们被连接起来创建嵌入的边特征𝑥𝑢𝑣=[𝑥𝑢；𝑥𝑣]∈R2𝑑。

边缘特征被输入MLP层，生成伯努利分布的参数，进行降采样随机去掉边。MLP层由一个具有可训练权值的线性层组成𝑊3∈R2𝑑×2𝑑，𝑏3∈R1×2𝑑，一个ReLU激活函数𝜎𝑅𝑒𝐿𝑈，另一个线性层，权值为𝑊4∈R2𝑑×1，𝑏4∈R，最后是一个s型函数，将数字转换为范围(0, 1):
𝜇𝑢𝑣 = 𝜎𝑆𝑖𝑔𝑚𝑜𝑖𝑑 (𝜎𝑅𝑒𝐿𝑈 (̃𝑥 ⊤ 𝑢𝑣𝑊3 + 𝑏3 )𝑊4 + 𝑏4 ).
这样，边缘特征就被转化为一个与伯努利分布参数对应的标量。

给定参数集{𝜇𝑢𝑣}，对每条边采样一个去除边缘的指标𝑏𝑢𝑣，即𝑏𝑢𝑣∼𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖（𝜇𝑢𝑣），其中𝑏𝑢𝑣=0表示边缘将会被丢弃。矩阵[𝑏𝑢𝑣∶𝑢，𝑣∈𝑉]构成了二进制（0或1）伯努利掩码。（Bernoulli mask B）
为了使梯度能够反向传播，采样过程需要重新参数化。
我们使用下面的重新参数化技巧：

其中，𝜖𝑢𝑣∼𝑈𝑛𝑖𝑓𝑜𝑟𝑚，0,1)，和𝜏表示控制重新参数化采样函数的平滑度的温度参数。
如果𝜖𝑢𝑣在范围（1−𝜇𝑢𝑣，1）内，s型函数内的项为正，如果𝜖𝑢𝑣在范围（0,1−𝜇𝑢𝑣）内，则为负。因此，输出𝑏𝑢𝑣接近于1的概率为𝜇𝑢v.随着𝜏→0，𝑏𝑢𝑣越来越接近采样的二进制指示器。

利用元素乘法将伯努利掩模应用于邻接矩阵𝐴，因此，用𝑏𝑢𝑣=0掩盖了一些边缘。
因此，输入图变成了一个具有相同节点数的删除了部分边的图。

将从图𝐺=（𝑉，𝐴，𝑋，𝐸）中创建参数矩阵[𝜇𝑢𝑣]的过程表示为𝜇，整个数据增强过程可以写为

动态存储库及损失函数设计：
TODO

分类和解释

TODO

实施细节

TODO

结果

实验

参考资料：

原文链接：https://www.sciencedirect.com/science/article/pii/S1361841523001925
https://cnbi.fudan.edu.cn/info/1063/1721.htm
GitHub的链接：https://github.com/qbmizsj/A-GCL