文献解读01-Multi-level and joint attention networks on brain functional connectivity for cross-cognitive

论文信息：“Multi-level and joint attention networks on brain functional connectivity for cross-cognitive prediction” ——Medical Image Analysis，Volume 90, December 2023, 102921
译：“用于交叉认知预测的大脑功能连接的多层次和联合注意力网络”
Abstract
静息态功能性 MRI （rs-fMRI） 的深度学习在预测单一认知或精神疾病方面取得了巨大成功。然而，认知功能或精神疾病可能共享有利于其预测/分类的神经机制。我们提出了一个多层次和联合注意力（ML-Joint-Att）网络，以学习大脑功能连接的高阶表示，这些连接是特定的，并在多个任务中共享。我们设计了具有边缘和节点卷积算子的ML-Joint-Att网络，一个自适应初始模块和三个注意力模块，包括网络、区域和区域联合注意力模块。自适应初始在多个空间尺度上学习大脑功能连接。网络和区域注意力模块将多尺度功能连接性作为输入，并学习网络和区域层面的单个任务的特征。此外，联合注意力模块被设计为区域联合注意力，以学习有助于和补偿多个任务预测的共享大脑特征。我们使用了青少年大脑认知发展（ABCD）数据集（n = 9020）评估ML-Joint-Att网络预测认知灵活性和抑制性。我们的实验证明了三个注意力模块的有用性，并确定了大脑功能连接以及认知灵活性和抑制之间特定和共同的区域。特别是，联合注意力模块可以显着提高对两种认知功能的预测。此外，留下一个位点的交叉验证表明，ML-Joint-Att网络对从ABCD研究的不同位点获得的独立样本具有鲁棒性。我们的网络优于现有的机器学习技术，包括脑偏差集 （BBS）、时空图卷积网络 （ST-GCN） 和 BrainNetCNN。我们展示了我们的方法在其他应用中的推广性，例如流体智能和结晶智能的预测，这也优于 ST-GCN 和 BrainNetCNN。

1. Introduction

在过去的十年中，静息态功能磁共振成像（rs-fMRI）已被广泛用于了解大脑功能组织，其特征是通过fMRI信号的同步来区分脑区域之间的功能连接。在机器学习技术的帮助下，大脑功能连接可以稳健地预测精神疾病（例如，注意力缺陷多动障碍 （ADHD）、自闭症、精神分裂症）、人口统计学（例如，年龄和性别）和认知功能（例如，流体智力、持续注意力、工作记忆和创造能力。然而，精神疾病往往是共病。患有自闭症的儿童和青少年表现出高比例的 ADHD 症状。 认知功能，如认知灵活性和抑制力，可能彼此高度相关，并且在某种程度上具有共同的神经机制。因此，同时学习合并症或多种认知功能可能有助于识别多种疾病或多种认知功能的不同和共同的脑功能特征，从而提高预测能力。

随着深度学习技术的发展，CNN、DNN、GCN已被应用于大脑功能连接，用于预测单一认知功能和疾病。CNN 和 DNN 将大脑功能连接图视为预测年龄和精神分裂症的图像。CNN 与循环神经网络 （RNN） 的集成用于表征认知预测的大脑功能连接的动态。不同的是，基于GCN的方法将大脑功能连接视为图形。除了上述CNN和GCN之外，也有人开发了BrainNetCNN，并根据脑功能连接拓扑引入了三种卷积运算，强调了大脑功能连接的更多局部关系。

本研究提出了一种新颖且可解释的多层次联合注意力网络（ML-Joint-Att），并将其应用于基于大脑功能连接矩阵的多种认知功能（或分数）预测，特别是当这些认知功能相互关联时。ML-Joint-Att（见图1）设计了边缘和节点卷积算子，提出了四个主要模块，包括自适应初始模块、网络注意力模块、区域注意力模块和区域联合注意力模块。节点卷积和边缘卷积是过滤大脑区域（节点）及其功能连接（边缘）之间功能信息的两个基本操作。ML-Joint Att 网络包含一个自适应初始模块，以实现对大脑功能连接的多尺度分析，以及针对每个认知的多级注意力卷积 （ML-Att-conv） 网络和联合注意力卷积 （Joint-Att-conv） 网络，用于预测多种认知功能的性能。ML-Att-conv 网络由两个注意力模块组成，用于在多个级别捕获与单个任务相关的显著性特征。第一个注意力模块（网络注意力）以多尺度功能连接为输入，在网络水平上学习个体认知功能的大脑功能连接特征。第二个注意力模块（区域注意力）旨在学习有助于在区域水平上进行个人认知预测的大脑区域特征。此外，Joint-Att-conv网络被设计为区域联合注意力，从网络注意力模块获得的认知无关功能连接特征中学习共享的大脑区域特征。共享的大脑区域特征同时有助于和补偿多种认知功能的预测。ML-Att-conv 和 Joint-Att-conv 网络都为预测个体认知功能提供了可解释的注意力图，并突出显示了其功能组织特定于个体认知功能或跨认知功能共享的大脑区域。识别其功能组织可以很好地预测多种认知功能的大脑区域，有助于我们理解多种认知功能的常见神经机制。

在这项研究中，我们采用了来自青少年大脑认知发展 （ABCD） 数据集的 fMRI 和认知数据来说明我们的 ML-Joint-Att 网络的使用并评估其性能。特别是，我们在 ABCD 研究中采用了使用卡片排序和侧翼任务评估的认知灵活性和抑制，因为这两种认知功能是执行功能，并且更高的认知灵活性与更高的抑制相关。 此外，认知灵活性和抑制对于促进学业成就、成功过渡到成年和其他最佳生活结果至关重要。这两种认知功能的异常改变与精神疾病有关，例如多动症和自闭症。在实验中，我们首先评估了基于ML-Joint-Att网络模块的4个构建网络的性能，以证明多层次和联合注意力模块的有效性。其次，我们采用留一站点交叉验证来证明 ML-Joint-Att 网络的鲁棒性和泛化性，以预测从一个站点到另一个站点的认知功能。然后，我们将我们的 ML-Joint-Att 网络与最先进的机器学习方法和深度学习模型进行比较，例如时空图卷积网络 （ST-GCN）和 BrainNetCNN。最后，我们研究了ML-Joint-Att网络的泛化，以共同预测ABCD数据集中可用的其他认知任务，包括流体智能和结晶智能，并将ML-Joint-Att网络的结果与最先进的ST-GCN和BrainNetCNN深度学习模型进行比较。

ML-Joint-Att网络的主要贡献是四个方面。
1、ML-Joint-Att 网络是第一个关于大脑功能连接的多任务学习模型，可同时预测多种认知功能。
2、是一个可解释的学习模型，它通过网络和区域注意力模块提供两个层次的注意力图，即网络和区域，用于多种认知预测。
3、联合注意力模块整合了来自个人认知功能的大脑特征，并识别出对两者有贡献的人。
4、研究结果可以揭示大脑功能组织和认知灵活性和抑制性特有的区域，以及它们之间的共享，这有助于我们理解多种认知功能的共享和不同的神经机制。

图1：多级联合注意力 （ML-Joint-Att） 网络的架构。它由四个主要模块组成，包括自适应初始模块、网络注意力模块、区域注意力模块和联合注意力模块。

2. Related work

2.1. Convolutional neural networks on functional connectivity（基于功能连接的卷积神经网络）

将 ST-GCN 和功能连接卷积神经网络 （FC-conv） 与空间注意力机制相结合，以基于功能连接学习大脑区域的贡献。FC-conv 旨在学习功能连接特征，其中边缘和节点卷积操作沿大脑功能连接网络的边缘和节点维度应用。此外，基于功能连通性的空间注意力旨在通过学习功能连通性高级特征之间的局部依赖关系并强调重要的大脑区域来生成权重图以进行认知预测。

2.2. Multi-task learning on functional connectivity（功能连接的多任务学习）

对多任务学习的研究越来越多，结合了多模态大脑图像并设计了神经网络来学习其特征，以对单一疾病进行分类或认知预测。这些方法通常包括第一个任务，即在多模态图像中学习相关特征，第二个任务是利用这些特征进行疾病分类和认知预测。因此，这些方法被设计为多模态融合，用于对单一疾病进行分类或预测一种认知功能。然而，本研究的目的是设计用于预测多种认知功能的多任务学习模型。

最近，几种多任务学习方法采用功能连接性，并提出了与任务无关的注意力网络，用于预测脑肿瘤患者的语言、手指、足部和舌头功能。每个注意力网络都从特定任务（即语言、手指、脚或舌头）的相同功能连接中学习空间和时间特征。然而，即使它们可能相互关联，也没有跨任务学习的联合特征。在这项研究中，我们设计了一个联合注意力模块，该模块捕获了跨任务的协作特征，这可能为提高多任务预测的性能提供补充信息。

3. Methods

本研究旨在设计一个可解释的多层次和联合注意力（ML-Joint-Att）网络，以提取大脑网络水平和区域水平的功能连接性的高阶表示，用于预测多种认知功能，特别是当认知功能相互关联时。

将 ML-Joint-Att 网络设计为一个多任务学习模型，以学习 （1） 大脑区域及其特定于个体认知的连接;（2）大脑区域及其在多种认知功能中共同的连接，用于预测。如图 1 所示，ML-Joint-Att 网络获取大脑功能连接矩阵，并通过两个卷积算子（边缘和节点卷积滤波器）和四个主要模块进行处理，包括 （1） 用于大脑功能网络多尺度分析的自适应初始模块;（2）一个网络模块，用于识别个体认知的大脑网络水平的大脑功能连接;（3）区域注意力模块，用于识别功能组织对个体认知很重要的大脑区域;4）一个区域性的联合注意力模块，用于选择其功能组织有助于所有认知功能的大脑区域。下面我们将深入介绍这四个模块和两个算子的架构，并利用它们构建多级注意力卷积（ML-Att-conv）网络和联合注意力卷积（Joint-Att-conv）网络。

3.1. Edge and node convolution（边和节点卷积）

ML-Joint-Att 网络包含两个基本的卷积操作，即边卷积 （EdgeConv） 和节点卷积 （NodeConv）。为了使 EdgeConv 和 NodeConv 具有生物学意义，本研究组织了大脑区域的顺序，使一个功能子网中的大脑区域彼此相邻。图 1 说明了大脑功能网络矩阵的示例，其大脑区域在感觉运动、视觉、视觉关联、丘脑-海马体、杏仁核、小脑前后、显着性、前后默认模式、注意力、左右额顶叶和眶额叶功能网络中。因此，具有较小内核大小的过滤器可以平滑大脑功能子网中沿边缘和节点的功能信息，而具有大内核大小的过滤器可以平滑大脑功能子网中沿边缘和节点的功能信息。

3.2. Adaptive inception module（自适应启动模块）

源自 rs-fMRI 的内在脑功能组织可以表征大脑区域之间的拓扑功能连接，包括脑功能子网内和跨脑功能子网。从生物学上讲，功能子网内和功能子网之间的大脑区域之间的功能连接在一定程度上表明了大脑功能子网的功能规范和整合。因此，结合大脑功能组织的多个尺度进行认知预测至关重要，这是通过下面定义的自适应启发模块实现的。

在这项研究中，我们采用了初始网络的思想，该网络是卷积层的组合，其不同内核大小的输出滤波器组连接成单个输出。除了传统初始网络中的多尺度核卷积滤波器外，我们的自适应初始模块还采用了额外的单元，即泄漏整流线性单元（leaky ReLU），以整合正负功能连接，并实现大脑功能网络的稀疏性（见图2）。

图2：自适应启动模块

3.3. Network-wise attention module（网络注意力模块）

我们设计了一种基于大脑功能连接的注意力机制，以识别对认知预测具有最强辨别力的功能连接。功能连接被用于注意力机制，主要是因为它具有预测认知的统计能力，如下面的结果所示。在这项研究中，我们设计了一个网络注意力模块，该模块有助于增强或抑制功能连接对认知预测的贡献。

图 3 显示了网络注意力模块的架构。它以自适应初始模块中的多尺度功能连接特征为输入，增强了对结果贡献最大的功能连接性，并抑制了对结果贡献最小的功能连接性。

图3：网络注意力模块的体系结构

3.4. Region-wise attention module（区域注意力模块）

ML-Joint-Att 网络中的第三个模块是一个区域注意力模型，用于识别功能连接与结果预测最相关的大脑区域。图 4 说明了按区域注意力模块的架构。

图4：区域注意力模块的体系结构

3.5. Region-wise joint attention module（区域联合注意力模块）

介绍ML-Joint-Att网络的最后一个模块，即区域联合注意力模块。该联合注意力模块旨在识别其功能组织在预测两项任务时共享的大脑区域。联合特征可以提供从一个任务到另一个任务的互补信息，因此有可能改进任务预测。图 5 说明了区域联合注意力模块的架构。在这里，我们使用上标来索引认知任务。我们设计了联合注意力机制，其设计方式与区域注意力机制类似，不同之处在于区域联合注意力图是由两个任务的注意力图决定的。

图5：区域联合注意力模块的体系结构

3.6. Multi-level attention and joint attention convolutional networks（多级注意力和联合注意力卷积网络）

基于上述四个模块以及边卷积和节点卷积，我们设计了多级注意力卷积网络（ML-Att-conv）和联合注意力卷积网络（Joint-Att-conv）的架构。ML-Att-conv网络（图1中的绿框）设计用于单任务预测，同时结合了网络注意力和区域注意力模块以及边缘和节点卷积。
另一方面，Joint-Att-conv网络（图1中的红框）结合了区域联合注意力模块以及边缘和节点卷积，以选择两个任务预测共享的多尺度功能连接性的特征。

3.7. Output layer（输出层）

在这项研究中，我们采用了传统的输出层，其中包含两个全连接层、泄漏 ReLU 和丢弃组件。对于 ML-Joint-Att 网络，输出层连接从两个 ML-Att-conv 网络获得的特征。

3.8. Implementation（实现）

我们在 Python 3.7 和 TensorFlow 1.13.1 库中实现了该框架。我们设计了ML-Joint-Att网络，该网络由自适应初始模块、两个ML-Att-conv网络和一个Joint-Att-conv网络以及输出层组成，如图1所示。在这项研究中，我们根据经验确定了ML-Joint-Att网络的参数。自适应初始模块包括 3 种类型的卷积滤波器，内核大小分别为 2 × 2、4 × 4 和 8 × 8。

该模型使用具有 32 GB RAM 的 NIVIDIA Tesla V100-SXM2 GPU 和具有 2.30 GHz 的 Intel Xeon Gold 5118 CPU 以及批量大小 32和学习率为0.01。

3.9. Evaluation metrics（评估指标）

本研究采用 Pearson 测试样本实际值和预测值之间的相关性、均方根误差 （RMSE） 和平均绝对误差 （MAE） 来量化测试样本的实际值和预测值之间的差异。

4. Datasets and MRI preprocessing

4.1. Adolescent brain cognitive development (ABCD)（青少年大脑认知发展 （ABCD））

青少年大脑认知发展 （ABCD） 研究是一项正在进行的研究，其数据可公开获得（版本 2.0.1;https://abcdstudy.org/）。在第一次访问中，该研究包括 9-11 岁的青少年，居住在美国的男性和女性比例相似（n
).样本选择标准旨在反映 ABCD 研究设计中描述的美国人口的社会人口比例（Barch 等人，2018 年）。所有参与者都接受评估，以获取有关各自青少年的大脑成像、人口统计学、环境因素和行为评估的数据。获得所有父母的书面知情同意书，并且所有儿童都同意每个数据收集站点 （https://abcdstudy.org/study-sites/） 的机构审查委员会批准的研究方案。

4.2. MRI preprocessing（MRI预处理）

本研究采用相同的分析管道来分析 T1 加权图像和 rs-fMRI。使用 FreeSurfer 5.3.0 进一步处理结构图像，将大脑图像分割为三种组织类型，即灰质 （GM）、白质 （WM） 和脑脊液 （CSF）。后处理质量检查根据 https://surfer.nmr.mgh.harvard.edu/fswiki/FsTutorial/TroubleshootingData 上的说明进行。非线性图像归一化是通过大变形差分度量映射（LDDMM）将单个T1加权MRI图像对齐到图谱空间来实现的）。

本研究使用具有 268 个感兴趣大脑区域 （ROI） 的全脑包裹。我们通过 Pearson 对时间序列的相关性来计算任意两个 ROI 之间的功能连接性 （FC）。大脑功能网络表示为 268 × 268 的 FC 矩阵。如图 1 所示，这 268 个大脑区域是根据 Zhu 和 Qiu （2022） 中定义的脑功能子网进行排序的。本研究采用FC矩阵上的光谱聚类来定义大脑功能子网和子网络之间的相似性，用于对大脑区域和功能子网进行排序。

5. Results

5.1. Single-task vs multi-task learning networks（单任务与多任务学习网络）

单任务学习网络：本实验分别对单任务inception-conv网络和ML-Att-conv网络对认知灵活性和抑制的预测进行了评估。图 6显示了单任务 inception-conv 网络和 ML-Att-conv 网络的评估指标的平均值和标准差，用于预测认知灵活性或抑制，包括 10 次运行的 5 倍交叉验证中实际值和预测值之间的相关系数、RMSE 和 MAE。
多任务学习网络：在我们的实验中，多任务 inception-conv 网络和 ML-Att-conv 网络用于同时预测认知灵活性和抑制分数，当它们不包含来自两个认知任务的共享特征时。图 6 显示了这些实验的相关性、RMSE 和 MAE 的平均值和标准差。

图 6：相关系数、均方根误差 （RMSE） 和平均绝对误差 （MAE） 以及实际值和预测值之间的均值和标准差基于 10 次五重交叉验证运行计算。

5.2. Robustness via leave-one-site-out cross-validation（通过留一站交叉验证的鲁棒性）

图 7显示了所有研究地点的实际和预测认知灵活性和抑制评分之间的相关性、RMSE 和 MAE。首先，认知灵活性的相关系数范围为0.1068-0.3054，平均值为0.1981，标准差为0.003。抑制的相关系数范围为 0.0831 至 0.2103，平均值为 0.1576，标准差为 0.003。其次，认知灵活性的RMSE范围为7.7102至9.1951，平均值为8.8734，标准差为0.009。抑制的RMSE范围为7.5619至9.1033，平均值为8.6369，标准差为0.007。第三，认知灵活性的MAE范围为6.1634至7.3057，平均值为6.7050，标准差为0.008。抑制的MAE范围为5.9573至7.5592，平均值为6.5734，标准差为0.010。在21个研究地点中，这三个指标的标准差相对较小，这表明我们提出的ML-Joint-Att网络在预测从一个独立数据集到另一个独立数据集的认知灵活性和抑制方面具有鲁棒性和泛化性。

图7：通过 ML-Joint-Att 网络上的 leave-one-site-out 交叉验证获得的每个研究位点的认知灵活性和抑制的预测准确性。

5.3. Interpretable attention maps（可解释的注意力图）

A. 网络注意力图。我们采用网络注意力模块来创建网络注意力图。网络注意力图是针对单个受试者计算的。图 8 显示了从 5 次折叠和 10 次运行中获得的所有受试者的平均值的受试者的网络注意力图。

图 8A 显示了额顶网络 （FPN）、显著性网络 （SN）、默认模式网络 （DMN）、注意力、小脑、感觉运动 （SM）、视觉和丘脑-海马网络中的功能连接性对认知灵活性预测的高贡献。在这项研究中，认知灵活性评估了在两个不同概念或多个概念之间切换的能力。现有的基于任务的功能性 MRI 研究显示，在卡片分类任务期间，FPN 和 SN 的激活以及 DMN 的失活.参与者最初在认知灵活性试验期间接触左额叶下交界处，然后接触额顶叶、视觉和小脑区域。确定了类似的脑功能子网络以预测抑制。然而，主要来自小脑前部、显著性、DMN、注意力和FPN。现有的功能性MRI研究表明，在抑制测试期间，FPN，SN，DMN和丘脑-海马网络中的神经活动与个体抑制能力有关。 因此，我们的网络注意力图可用于发现认知灵活性和抑制的神经机制。

图 8.认知灵活性 （A） 和抑制 （B） 的网络注意力图。为了可视化的目的，268个大脑区域被分组为功能子网。

B. 区域注意力图。我们从ML-Joint-Att网络的两个区域注意力模块中分别生成认知灵活性和抑制的注意力图。按区域划分的注意力图是针对单个受试者计算的。图9显示了所有受试者和 10 次五倍交叉验证的平均值的区域注意力图。

按区域注意力模块识别外侧前额叶皮层、额下回、顶叶皮层、前颞叶、中扣带皮层和皮层下区域，其功能组织有助于预测认知灵活性，注意力权重高于 0.50。贡献最大的区域位于双侧额下交界处，注意力权重高于 0.65。有助于预测抑制的区域与认知灵活性的区域相似，但右额上回除外，它仅出现在注意力值高于 0.70 的抑制注意力图中。现有的功能性 MRI 研究表明，左额叶下交界处、左前额叶皮层和小脑皮层部分区域的神经活动与个体的认知灵活性和抑制能力有关.我们的注意力图还确定了抑制预测的独特区域，即右额上区域，这与右额上回的神经活动与更有效的反应抑制高度相关的研究结果一致。

C.区域联合注意力图。 图 10显示了从 ML-Joint-Att 网络的区域联合注意力模块获得的区域联合注意力图。
图 9.用于预测认知灵活性 （A） 和抑制 （B） 的区域注意力图。

我们的联合注意力图显示，认知灵活性和抑制具有共同的大脑区域，例如额叶、顶叶、内侧皮层和皮层下区域，注意力值高于 0.52。左侧中扣带回皮层和额叶和顶叶区域之间的右侧交界处表现出最高的注意力值，从 0.73 到 0.85。认知灵活性和抑制能力都是相互关联的，并且是执行认知的重要组成部分。最近基于抑制和转换任务的 fMRI 研究报告称，在外侧额顶叶、额下交界处、顶下、视觉皮层、小脑和中扣岛脑区，发现认知灵活性和抑制任务的神经活动模式高度重叠.因此，我们的 ML-Joint-Att 网络可用于识别跨多个认知功能的共享神经机制。

图 10.区域联合注意力图。

5.4. Comparisons with state-of-the-art machine learning methods（与最先进的机器学习方法的比较）

表 1.我们提出的 ML-Joint-Att 网络与最先进的深度学习方法的比较，用于预测认知灵活性和抑制。列出了实际认知分数和预测认知分数之间的相关系数、均方根误差 （RMSE） 和平均绝对误差 （MAE）。

5.5. Generalization to other multi-task predictions（推广到其他多任务预测）

表 2.我们提出的 ML-Joint-Att 网络与最先进的深度学习方法的比较，用于预测流体智能和结晶智能。列出了实际认知分数和预测认知分数之间的相关系数、均方根误差 （RMSE） 和平均绝对误差 （MAE）。

6. Discussion

我们的 ML-Joint-Att 网络可视化了用于理解大脑网络和区域的多层次注意力图，有助于预测认知灵活性和抑制性。我们的工作强调了网络水平的额顶叶网络 （FPN）、显著性网络 （SN） 和默认模式网络 （DMN），以及区域水平的前额叶、顶叶和小脑区域，这些区域最有助于预测认知灵活性和抑制。大量基于任务的 fMRI 研究指出，外侧额顶叶网络、前额叶和中扣带岛叶皮层的神经活动支持不同类型的执行功能。此外，我们的研究还揭示了位于注意力和视觉网络中的高度辨别性连接性，用于预测认知灵活性和抑制性。这一发现为执行和注意力功能相互作用伴随着不同认知和感觉功能网络的功能整合的理论提供了证据。

本研究展示了我们提出的使用ABCD数据集的方法的两种应用，包括认知灵活性和抑制的预测以及流体智力和结晶智力的预测。然而，我们的方法并不局限于对多种认知功能的预测。它可以用于预测衰老和阿尔茨海默病，并了解它们特定和共享的神经机制。它可以进一步扩展以了解共病精神疾病的共同和特异性神经机制，例如自闭症和注意力缺陷多动障碍（ADHD）、抑郁症和双相情感障碍等。

总之，ML-Joint-Att 网络是一个可解释的多任务深度学习模型，它解释了它如何做出决策并提供合理的性能。我们的多层次注意力模块可以进一步扩展到其他模式，例如大脑结构组织。此外，ML-Joint-Att 网络可以通过修改区域联合注意力模块来扩展为学习两个以上的任务。