BrainGNN: Interpretable Brain Graph Neural Network for fMRI Analysis

哗哗的靓仔

已于 2025-02-02 10:09:25 修改

阅读量1k

点赞数 26

分类专栏：医学影像图文章标签：机器学习人工智能

于 2025-02-01 01:16:01 首次发布

本文链接：https://blog.csdn.net/m0_50733469/article/details/145371163

版权

医学影像同时被 2 个专栏收录

4 篇文章

订阅专栏

图

3 篇文章

订阅专栏

以下内容是为了方便自己回忆而记录的，内容可能不完整，如要了解详细信息，请阅读原文。如理解有错误之处或者笔误之处，也欢迎批评指正，友好交流。

模型框架：

总结（个人总结，仅供参考）:

本篇文章主要有下面几个有意思的点：

① 使用了Ra-Gconv层来提取图特征，与一般Gconv层区别是，在图卷积核中对不同的节点学习不同的嵌入权重，将这些节点软聚类地分为几个社区；此外，还引入了边权重用于信息过滤。

② ROI-topK池化层来保留最具指示性的ROI，同时去除噪声信号，从而减少整个图的维度。其中丢弃哪些节点是通过将节点特征投影到一个可学习的向量上来决定的（后面提到的损失函数中的三项都与这一层有关）。 （① 和②都在降维操作）

③ 损失函数，由四项构成：交叉熵损失、单位损失、组间一致性损失、Top - K 池化损失。（后面三项损失，是为了完善ROI-topK池化层中的一些设计）。其中的单位损失是为了模型的可识别性；组间一致性损失的强度可以控制个体层面解释和组级层面解释的权衡；Top - K 池化损失有助于区分重要节点和不重要节点，拉开差距，增加稀疏性。

局限以及未来方向：

① 从 fMRI 数据动态提取图节点特征的联合端到端训练过程具有挑战性，但却是一个有趣的方向。

② 考虑不同大脑图谱。

③ 考虑更多BrainGNN中超参数的变化，研究更多的变化情况，例如池化比例、社区数量、卷积层数以及不同的读出操作。

④ 研究使用多范式 fMRI 数据整合的 BrainGNN 在生物标志物检测任务中的应用。（多模态数据）

⑤ 探索 Ra - GConv 层与基于张量分解的聚类方法之间的联系，以及 ROI 选择和 ROI 聚类的模式

摘要

为了解哪些脑区与特定的神经疾病或认知刺激相关，一直是神经影像学研究的一个重要领域。作者提出了 BrainGNN，这是一种图神经网络（GNN）框架，用于分析功能磁共振图像（fMRI）并发现神经生物标志物。

① 考虑到脑图的特殊性质，我们设计了新颖的感兴趣区域感知图卷积（Ra-GConv）层，该层利用了功能磁共振图像的拓扑和功能信息。

② 受医学图像分析中对透明度需求的启发，我们的 BrainGNN 包含感兴趣区域选择池化层（R-pool），该层突出显示显著的感兴趣区域（图中的节点），以便我们能够推断哪些感兴趣区域对预测至关重要。

③ 此外，我们在池化结果上提出了正则化项 —— 单元损失、前 K 池化（TPK）损失和组级一致性（GLC）损失 —— 以鼓励合理的感兴趣区域选择，并提供灵活性以鼓励完全个性化的模式或与组级数据相符的模式。

我们将 BrainGNN 框架应用于两个独立的功能磁共振图像数据集：一个自闭症谱系障碍（ASD）功能磁共振图像数据集和来自人类连接组计划（HCP）900 名受试者发布的数据。我们研究了超参数的不同选择，并表明在四个不同的评估指标方面，BrainGNN 优于其他功能磁共振图像分析方法。所获得的社区聚类和显著感兴趣区域检测结果，与先前从神经影像学中得出的自闭症谱系障碍生物标志物的证据以及人类连接组计划中解码的特定任务状态具有高度的对应性。

本文的代码可在GitHub - xxlya/BrainGNN_Pytorch: A preliminary implementation of BrainGNN获取。

1 介绍

通过使用功能磁共振成像（fMRI），可以将大脑建模为图（一种描述不同离散对象（即节点）之间连接或相互作用（即边）的数学结构），通过这种方式人们在理解大脑功能组织方面取得了重大进展。为了创建这些图，节点被定义为感兴趣的脑区（ROI），边被定义为这些感兴趣脑区之间的功能连接，其通过计算功能磁共振成像（fMRI）时间序列的成对相关性得出，如图 1 所示。

传统的基于图的功能磁共振成像（fMRI）分析主要集中在两阶段方法上：

第一阶段 —— 从图中进行特征工程；
第二阶段 —— 对提取的特征进行分析。

在特征工程方面，一些研究使用图论指标将每个节点的功能连接总结为统计度量。此外，由于功能磁共振成像（fMRI）数据的高维度，通常会将感兴趣脑区（ROI）聚类为高度连接的社区以进行降维，或者进行数据驱动的特征选择。对于这些两阶段方法，如果第一阶段的结果不可靠，那么在第二阶段可能会引入显著的误差。

对于大多数图结构数据的分析问题，GNN 是最先进的深度学习方法。它们通过神经网络将节点特征、边特征和图结构信息相结合，通过图中的边来传递信息，以此嵌入节点信息。因此，它们可以被视为传统图像卷积神经网络（CNN）的一种推广。由于其优越的性能和可解释性，GNN 已成为一种广泛应用的图分析方法。

目前用于功能磁共振成像（fMRI）分析的 GNN 方法，对不同的节点使用相同的嵌入方式，这隐含地假设了脑图具有平移不变性，并且脑图上的节点（脑区，ROI）是相同的。然而，在同一个脑图中，节点具有不同的位置和独特的身份。因此，对所有节点应用相同的嵌入方式是有问题的。此外，尽管最近的研究已经探讨了组级和个体级的神经生物标志物，但很少有 GNN 研究同时探索个体级和组级的解释，而这在神经影像学研究中至关重要。

（存在的问题👆）

在这项工作中，本文提出了一个基于图神经网络的框架，用于映射区域和跨区域的功能激活模式，以完成分类任务，例如对神经疾病患者和健康对照（HC）受试者进行分类，以及执行认知任务解码。

与上述现有研究不同的是，作者通过在图卷积层中提出一种新颖的基于聚类的嵌入方法，来解决将图节点（脑区，ROI）视为相同的局限性。此外，我们旨在通过图节点池化和几种创新的损失项来规范池化操作，为用户提供灵活解读不同层次生物标志物的能力。另外，与许多图神经网络文献不同，在这些文献中，基于功能磁共振成像（fMRI）的群体图是通过将每个受试者视为图上的一个节点来建模的，而我们将每个受试者的大脑建模为一个图，将每个脑区建模为一个节点，以学习基于脑区的图嵌入。具体来说，我们的框架联合学习脑区聚类和全脑功能磁共振成像预测。这不仅减少了先入为主的误差，还学习到了与其他定量脑图像分析任务相关的特定聚类模式。

具体而言，从估计的模型参数中，我们可以检索脑区聚类模式。此外，我们的图神经网络设计通过使用一种新颖的损失项来调节中间输出，以强制池化分数的相似性，从而促进了模型的可解释性，这为在个体层面和群体层面的解释之间进行选择提供了灵活性。

这项工作的一个初步版本，即用于功能磁共振成像（fMRI）生物标志物分析的池化正则化图神经网络（PR-GNN）（Li 等人，2020），曾在第 22 届国际医学图像计算与计算机辅助干预会议上展示。本文通过设计新颖的图卷积层，并分析一个新的数据集和任务，对该初步版本进行了扩展。

2 BrainGNN

2.1 符号

2.2 体系结构概述

图上的分类任务是通过以下步骤实现的：首先将节点特征嵌入到低维空间中，然后对节点进行粗化或池化操作并进行汇总。接着，将汇总后的向量输入到多层感知机（MLP）中。作责以端到端的方式训练图卷积 / 池化层和多层感知机。本文提出的网络架构如图（2）所示。它由三种不同类型的层组成：图卷积层、节点池化层和读出层。一般来说，图神经网络（GNNs）通过递归地变换和聚合其相邻节点的特征向量来归纳学习节点表示。

图卷积层：

图卷积层用于通过使用边特征来探究图的结构，边特征包含了关于图的重要信息。例如，大脑功能磁共振成像（fMRI）图中边的权重可以表示不同感兴趣区域（ROI）之间的关系。

节点池化层：

读出层：

2.3 BrainGNN的层

在本节中，作者将提供一些见解，并重点介绍 BrainGNN 架构的创新设计方面。

2.3.1 感兴趣区域（ROI）感知图卷积层

概述：作者提出了一种感兴趣区域感知图卷积层（Ra-Gconv）。基于两点考虑：

首先，在计算节点嵌入时，作者让Ra-Gconv根据感兴趣区域，在图卷积核中学习不同的嵌入权重，而不是像公式（1）那样对所有节点都使用相同的权重 $W$ 。在作者的设计种，权重 $W$ 可以分解为一组基函数的线性组合，其中每个基函数代表一个社区。
其次，作者引入边权重用于信息过滤，因为边权重的大小表示两个感兴趣区域之间的连接强度。作者假设连接更紧密的感兴趣区域对彼此的影响更大。

在设计时，作者假设图具有额外的区域信息，并且来自不同图的相同区域的节点具有相似的属性。因此，作者将区域信息编码到节点的嵌入核函数中。给定节点 $i$ 的区域信息 $r_i$ 。作者提议使用基于 $r_i$ 为第 $l$ 层Ra-Gconv学习向量化的嵌入核 $vec(W_i^{(l)})$ :

之后就如同 Gong 和 Cheng（2019）中的图卷积操作一样，节点特征将与边权重相乘，这样一来，由更强的边连接的邻居节点会产生更大的影响。

2.3.2 ROI-topK池化层

最近的研究结果表明，一些感兴趣区域在预测神经系统疾病方面比其他区域更具有指示性，这意味着在降维过程中应该保留这些区域。因此作者设计了节点池化层（R-Pool），以保留最具指示性的ROI，同时去除噪声信号，从而减少整个图的维度。本文中采用的是Cangea等人（2018）和Gao与Ji（2019）中减少图节点的方法。丢弃哪些节点的选择是基于将节点特征投影到一个可学习的向量 $w^{(l)} \in R^{(d^{(l)})}$ 上确定的。 得分较高的节点特征保留。文章表示 $\tilde{H}^{(l + 1)} = [\tilde{\mathbf{h}}_1^{(l + 1)}, \ldots, \tilde{\mathbf{h}}_{N^{(l)}}^{(l + 1)}]^{\top}$ ，其中 $N ^ {(l)}$ 是第 $l$ 层的节点数。完整写出，这个池化层从输入图 $(\mathcal{V}^{(l)}, \mathcal{E}^{(l)})$ 计算池化图 $(\mathcal{V}^{(l+1)}, \mathcal{E}^{(l+1)})$ 的操作如下：

2.3.3 读出层

作者采用一种扁平化操作，以固定大小的表示形式保留关于输入图的信息。具体来说，为了汇总第 $l$ 个卷积-池化块的输出图 $(\mathcal{V}^{(l)}, \mathcal{E}^{(l)})$ ，作者使用：

2.3.4 将层（layers）放在一起

总而言之，该架构（如图 2 所示）由两种类型的层组成 - 粉色模块所示的感兴趣区域感知图卷积层（Ra - GConv）和黄色模块所示的 R - 池化层。输入是一个带权图，其节点属性由功能磁共振成像（fMRI）构建。我们形成一个两层的图神经网络（GNN）模块，首先通过 2.3.1 节中提出的 Ra - GConv 层进行感兴趣区域感知的节点嵌入，然后是 2.3.2 节中提出的 R - 池化层。整个网络按顺序连接这些 GNN 模块，并在每个 GNN 模块之后添加读出层。最终的汇总向量连接来自读出层的所有汇总信息，然后应用多层感知机（MLP）以给出最终预测。

2.4 损失函数

损失函数一共四项：交叉熵损失、单位损失、组间一致性损失、Top - K 池化损失

交叉熵损失和单位损失：

公式（6）是交叉熵损失，公式（7）是单位损失（是为了避免可识别性问题，一个模型是可识别的，那么其参数跟观察变量的概率分布的映射是一对一的。）

组级一致性（GLC）损失：

目的是为了同一组别（研究一个任务内，例如分类任务）内，希望池化之后选出来的ROI尽可能相同，不要每个受试者都选出不同的ROI区域，没有统一性。

公式（8）第二个等号前后需要推理一下，有一个性质推理时候会用到：

Top - K 池化损失：

目的是前k个节点得分要更接近于1，其余节点得分要更接近于0

2.5 理解BrainGNN

2.5.1 基于卷积层的社区检测

2.5.2 池化层的生物标志物检测

如果没有添加 Top - K 池化（TPK）损失（公式 (9)），池化后剩余节点的重要性就无法得到保证。有了 TPK 损失，随着时间推移，池化分数会更加分散，因此被选择的节点比未被选择的节点具有显著更高的重要性分数。

3 实验和结果

3.1 数据集

使用了两个独立的数据集：生物点自闭症研究数据集（Biopoint）（Venkataraman 等人，2016 年）和人类连接组计划（HCP）900 名受试者发布数据集（Van Essen 等人，2013 年）。对于 Biopoint 数据集，目标是对自闭症谱系障碍（ASD）和健康对照（HC）进行分类。对于 HCP 数据集，如同近期的研究工作一样，目标是解码和映射人类大脑的认知状态。因此，作者对 7 种任务状态进行分类 - 赌博、语言、运动、关系、社交、工作记忆（WM）和情绪，然后从解释中推断出解码的与任务相关的显著感兴趣区域（ROI）。HCP 状态分类任务有助于验证作者的解释结果（将在 3.5.2 节中讨论）。这些代表了基于任务的范式的两个关键示例，将说明本文方法的有效性和可移植性。

一个数据集Biopoint是二分类，一个数据集HCP是七分类

3.1.1 Biopoint数据集

生物点自闭症研究数据集（Venkataraman 等人，2016 年）包含自闭症谱系障碍（ASD）患者和神经典型健康对照（HC）者的任务功能磁共振成像（fMRI）扫描数据。最终得到 75 名自闭症儿童和 43 名年龄匹配（p > 0.124）且智商匹配（p > 0.122）的神经典型健康对照者。前几帧数据被舍弃，每个 fMRI 序列最终得到 146 帧。

（详见原文）

这里使用节点特征是皮尔逊相关系数，邻接矩阵是偏相关系数

做了数据增强

3.1.2 HCP数据集

对于这个数据集，作者将分析限制在那些参与了完整扫描长度的个体，他们的平均帧间位移小于 0.1 毫米，并且最大帧间位移小于 0.15 毫米（n = 506；237 名男性；年龄 22 - 37 岁）。这种因运动而设定的保守排除阈值，是为了减轻运动对功能连接的显著影响。

这里使用节点特征是皮尔逊相关系数，邻接矩阵是偏相关系数

3.2 实验设置

（详见原文）

3.3 超参数讨论和消融实验

（详见原文）

对于消融研究，如图 4 所示的结果表明，我们可以得出结论：在所有参数设置下，Ra - GConv 的整体性能优于普通 GConv 策略。原因可能是 Ra - GConv 层中来自多个嵌入核的节点嵌入效果更好，因为普通 GConv 策略对所有感兴趣区域（ROI，即节点）一视同仁，并且对所有 ROI 使用相同的核。因此，我们认为 Ra - GConv 能够更好地表征大脑 ROI 的异质表示

3.4 与基准方法的比较

注意：在 Biopoint 数据集上，由于对所有数据点进行了数据增强以提高一致性，作者通过对增强输入的预测标签进行多数投票来报告跨验证集的按受试者指标。

（详见原文）

3.5 BrainGNN的可解释性

BrainGNN 的一个极具吸引力的优势是其内置的可解释性：

（1）一方面，用户可以在不同层面上解释对预测任务有信息价值的显著脑区；

（2）另一方面，BrainGNN 将脑区聚类为与预测相关的社区。

作者在 3.5.1 - 3.5.2 节中展示（1），在 3.5.3 节中展示（2）。作者展示了他们的方法如何能够提供对显著感兴趣区域（ROI）的见解，这些见解可以被视为与疾病相关的生物标志物或认知状态的特征。

3.5.1 个体或组间水平的生物标志物

（详见原文）

文章中说图5（c）找到了5个重叠区域，但是图5（c）中只圈出了四个区域（我觉得是忘圈了，肉眼可见至少应该还有一个区域，LH在最上面）

3.5.2 验证显著ROI

（详见原文）

我理解的是，这里是拿着BrainGNN模型训练完的结果得到的ROI掩码输入到NeuroSynth（一个用于fMRI数据分析的平台）中，对比BrainGNN结果和NeuroSynth中结果关联程度，来对比BrainGNN结果是否正确

3.5.3 Ra-GConv层中的节点聚类模式

（详见原文）

4 讨论

4.1 模型

尽管深度学习模型取得了很高的准确率，但随之而来的一个自然问题是深度学习模型中的决策过程是否可解释。从脑生物标志物检测的角度来看，理解与预测相关的显著感兴趣区域（ROI）是发现生物标志物的一种重要方法：这些显著 ROI 可能是候选生物标志物。在这里，作者使用内置的模型可解释性来解决组级和个体级生物标志物分析的问题。相比之下，在没有额外后处理步骤的情况下，现有的功能磁共振成像（fMRI）分析方法只能进行个体级或组级功能生物标志物检测。例如，一般线性模型（GLM）、主成分分析（PCA）和独立成分分析（ICA）是基于组的分析方法。一些确定性模型，如基于连接组的预测建模（CPM）和其他基于机器学习的方法提供个体级分析。

然而，不同的用户可能需要针对不同层次生物标志物分析的模型灵活性。对于精准医学而言，个体级生物标志物对于规划靶向治疗很重要，而组级生物标志物对于理解与疾病相关的共同特征模式至关重要。为了填补组级和个体级生物标志物分析之间的空白，我们为图池化函数引入了一个可调正则化项。通过检查来自池化层的输入对和中间输出，我们的方法可以通过端到端训练在个体级和组级解释之间自由切换。较大的组级一致性正则化参数鼓励对所有实例进行相似的解释，突出共同的生物标志物；而较小的正则化参数则允许对不同实例进行不同的解释。然而，合适的参数是特定于研究的，可以使用交叉验证来确定合适的范围。值得注意的是，我们工作中提到的个体级生物标志物并不等同于单受试者解释，因为我们的方法仍然需要大量参与者来训练模型。

4.2 限制和未来工作

如本文所示，3.1 节中执行的预处理过程是从功能磁共振成像（fMRI）数据获取图的一种可能方法。接下来一个有意义的步骤是使用更强大的局部特征提取器来总结感兴趣区域（ROI）信息。从 fMRI 数据动态提取图节点特征的联合端到端训练过程具有挑战性，但却是一个有趣的方向。此外，在当前工作中，我们对每个数据集仅尝试了单一的图谱。对于基于 ROI 的分析，不同的图谱通常会导致不同的结果（Dadi 等人，2019）。考虑到可重复性和一致性（Wei 等人，2002；Abraham 等人，2017），进一步研究分类和解释结果对图谱变化的稳健性是值得的。尽管我们在 3.3 节中讨论了超参数的一些变化，但还应该研究更多的变化情况，例如池化比例、社区数量、卷积层数以及不同的读出操作。在未来的工作中，我们将尝试理解来自失败案例的解释，以及这些解释如何帮助提高模型性能。我们将探索使用 BrainGNN 改进基于图神经网络（GNN）的动态脑图分析的潜在好处（即 Gadgil 等人，2020）。鉴于 GNN 在整合多模态数据方面的灵活性，我们将研究使用多范式 fMRI 数据整合的 BrainGNN 在生物标志物检测任务中的应用（即 Bai 等人，2020）。我们将探索 Ra - GConv 层与基于张量分解的聚类方法之间的联系，以及 ROI 选择和 ROI 聚类的模式。为了更好地理解该算法，我们旨在进行定量评估和理论研究以解释实验结果。

5 结论

在本文中，作者提出了 BrainGNN，一种用于功能磁共振成像（fMRI）分析的可解释图神经网络。BrainGNN 将由神经图像构建的图作为输入，然后输出预测结果以及解释结果。作者将 BrainGNN 应用于 Biopoint 和人类连接组计划（HCP）的 fMRI 数据集。凭借内置的可解释性，BrainGNN 不仅在预测方面比其他方法表现更好，还能检测与预测相关的显著脑区，并发现大脑社区模式。总体而言，本文的模型相较于其他图学习和机器学习分类模型表现出优越性。通过研究 R - 池化层之后选择的感兴趣区域（ROI），作者的研究揭示了用于从健康对照中识别自闭症障碍的显著 ROI，并解码了与某些任务刺激相关的显著 ROI。当然，本文的框架可推广到其他神经成像模态的分析。这些优势对于发展精准医学、理解神经疾病以及最终有益于神经成像研究至关重要。