4 2020-Fusing Structural and Functional MRIs using Graph Convolutional Networks for Autism Classific

文章来源找不到了

Abstract

诸如图卷积网络之类的几何深度学习方法最近被证明可以使用医学成像在疾病预测中提供通用的解决方案。在本文中，我们特别关注它们在自闭症分类中的使用。最近的大多数方法都使用图形来利用有关受试者（患者或健康对照）的表型信息作为附加的上下文信息。为此，利用年龄，性别和获取地点等元数据来定义受试者之间的复杂关系（边缘）。我们减轻了此类非成像元数据的使用，并提出了一种完全基于成像的方法，其中融合了来自结构和功能磁共振成像（MRI）数据的信息，以构建图形的边缘和节点。为了表征每个主题，我们使用大脑摘要。这些是通过使用神经科学知悉的时间量度（例如振幅低频波动和熵）汇总每个体素的时间活动而从4D时空静止状态fMRI数据中获得的3D图像。此外，为了从这些3D脑部摘要中提取特征，我们提出了3D CNN模型。我们对自闭症研究的开放数据集进行了分析（完整的ABIDE I-II），结果表明，通过使用简单的大脑摘要测量并结合sMRI信息，与基于图形模型的state-of-art相比，该框架的可推广性和性能值有了显着提高。

1.Introduction

神经影像学有望在精神病学中进行客观的诊断和预后。 但是，与神经系统疾病不同，精神疾病不会显示出大脑物理外观的明显变化。 因此，大脑的结构磁共振成像（sMRI）扫描无法揭示健康大脑与病理大脑之间的差异。 长期以来，研究人员一直认为，区分两个大脑的模式不是在sMRI中，而是在静止状态MRI（rs-fMRI）扫描中（Zhan和Yu，2015）。 这些扫描包括以1-2秒的间隔绘制整个大脑的血液氧合水平（代表大脑活动的映射），从而生成4D时空图像。 通常，在4毫米的扫描分辨率和300个时间采样点的情况下，这将产生2000万维的特征向量。 在高维空间中找到模式以区分健康人和精神病患者是一个仍然需要解决的挑战。
建立自闭症诊断的客观方案的主要挑战之一是缺乏可靠，一致且足够大的数据集。 最近的一些举措，例如自闭症脑成像数据交换（ABIDE）（Di Martino等人，2014）已尝试汇总来自世界各地的自闭症（ASD）和健康对照（CON）的脑成像数据集 大小合理的数据集。 包括ABIDE-I和ABIDE-II在内的完整数据集包括2100多个主题，包括ASD和CON。 因此，ABIDE已成为自闭症分类的基准数据集。
几种机器学习方法已经用于自闭症分类，例如支持向量机（Jiao等，2010; Bi等，2018），决策树（Jiao等，2010），随机森林（Maenner等，2010）。 （2016年），深度神经网络（Khosla等人，2018年； Gazzar等人，2019年； Kong等人，2019年）等。 所有这些方法仅依赖于特定于对象的成像特征，这些特征无法编码对象之间的相似性或相异性。 但是，在自闭症分类中非常需要关系信息，因为（a）数据集对于深度学习模型来说相对较小，并且（b）数据集是从多个站点获得的，导致数据点不一致。
研究表明，使用图卷积网络（GCN）的最新方法（Parisot等人，2017; Anirudh和Thiagarajan，2019）利用了受试者之间的关系及其大脑活动模式。 GCN使用人口图，其中对象（定义为节点）通过边缘连接到相似的对象。可以基于特定于受试者的数据以及来自其他相似受试者的关系信息，对任何新受试者进行预测。但是，几乎所有最近的研究都将研究限制在一部分受试者上，这主要涉及拒绝持续时间太短的数据以及其中包含明显噪音的数据的受试者（Moradi等，2017; Abraham等，2017; Parisot等人，2017; Khosla等人，2018）。虽然这有助于更好地训练模型，但不利影响包括对嘈杂和复杂测试对象的通用性降低。在本文中，我们开发了DL模型，即使使用跨越所有站点的整个ABIDE数据集也可以提供可比的性能。
尽管可以使用ABIDE数据集，但是输入数据的维数太大，无法在没有任何预处理或特征工程的情况下使用它。过去已经使用了不同的方法来减少数据的维数。由于rs-fMRI数据包含时空信号，因此可以在空间，时间或什至两者中进行降维。空间缩小的一种方法是使用大脑图谱，其中将空间中约一百万个体素局部平均，以获得大约100到400个非重叠区域。之后可以使用一维卷积神经网络（CNN）直接处理减少的时间过程集（Gazzar等，2019），或用于构建相关矩阵，通过进一步处理可以提供甚至减少的特征集（Parisot等，2018）。例如，使用递归特征消除（RFE）方法减少从相关矩阵中获得的特征，在该方法中，迭代删除特征子集，直到达到所需数量为止。
处理4D脑体积的另一种方法是保留全部分辨率，并且仅减小时间维度。 例如，可以使用汇总量度（例如幅度低频波动（ALFF），熵等）在体素级别上汇总时间信号。 ALFF是一种旨在揭示大脑基础处理过程中差异的度量，并且是根据两个不同频率范围内的频谱功率之比计算得出的。 据我们所知，此类摘要尚未纳入神经成像的DL模型中，因此在本文中，我们探索了此类摘要的适用性。 此外，我们消除了诸如RFE之类的简化技术的使用，以避免不必要的信息过度丢失。 相反，我们建议使用变分自动编码器（VAE）将信息投影到较低维度的表示形式，并将其用作模型的特征向量。
在基于GCN的方法中，虽然使用对象的特征来表征节点，但边缘的定义主要取决于其表型数据（例如性别，年龄和获取位点）。但是，表型信息仅是代理，而不是使用它们来定义受试者之间的联系，我们建议使用大脑硬件之间的“实际相似性”。过去，sMRI数据已被用于根据年龄（Brickman等，2007； Su等，2012），性别（Tyan等，2017）和获取地点（Littmann等）来了解脑硬件的可变性等（2006）。这意味着这些表型参数与结构成像数据相关。因此，与基于任意元数据定义关系相反，可以期望来自具有相似结构表示的主题的数据具有较低的方差。基于这种动机，我们假设结构图像具有较高的主题关系可表达性，并建议使用它们来构建总体图的边。为了更好地说明，在这里和以后，我们将参考Parisot等人的方法 （2018）和基于结构MRI数据的p-GCN和s-GCN。此外，涉及结构MRI数据以及大脑摘要的方法将称为ss-GCN。
在本文中，我们解决了上述现有方法的各种局限性。 总而言之，本文的主要贡献是：
•融合结构和功能静止状态图像以进行自闭症分类，从而减轻了使用患者非成像元数据的需求；
•使用各种时间汇总度量将原始空间分辨率下的4D输入量减少为3D量，以进行分类。
•最后，我们提出了一种新颖的3D CNN-GCN模型，用于改善自闭症患者的分类。 CNN模块用于将汇总的3D体积编码为图模型节点的低维特征向量。

2.Graph Convolution for Autism Classification

本节简要概述了GCN在自闭症受试者分类中的应用。 图1说明了三种基于GCN的模型：p GCN和我们提出的模型s-GCN和ss-GCN。 可以看出，管道涉及一个初始总体图，该总体图包括两部分：1）表征图的每个节点（对象）的特征向量；以及2）定义节点之间的边（关系）的相似性度量。

在p-GCN中，每个节点的特征向量是通过在各个大脑中所有可能的区域对的时间序列值之间建立相关矩阵来获得的。 提取，展平相关矩阵上三角中包含的信息，然后将其传递给脊回归器以执行递归特征消除（RFE）。 从RFE获得的减少的特征集用于表征图中的相应节点。 与特征向量不同，使用非成像表型测量来定义边缘，例如fMRI扫描的年龄，性别或采集部位（用表示）。 使用有关每个主题的信息，Parisot等（2018）创建图的邻接矩阵为

在这里，表示第i个对象和第j个对象的特征向量之间的相似度，从而增强了图的相似节点之间的链接，并削弱了相似程度较低的节点。 加权常数γ被乘以一个常数，该常数根据在图形中使用的表型数据的选择而变化。
在创建邻接矩阵时使用诸如站点信息之类的非成像数据的主要缺点是，在缩放到较大的数据集时，尤其是在站点的主题很少或将新站点添加到数据库中时，缺乏灵活性。此外，由等式定义的邻接矩阵。 1损害了GCN体系结构的有效性。使用GCN的主要优点是它能够组合来自分别在其节点和边缘上定义的两个不同通道的信息。但是，由于使用基于fMRI的相似性度量来定义边缘，因此p-GCN中的静止状态fMRI信息存在明显的重叠，最终限制了其判别力。为了避免这些问题，可以使用尚未使用的大脑结构信息来确定受试者之间大脑硬件的相似性。在下一节中将讨论使用sMRI信息定义受试者之间的联系的动机和优势。

3.Proposed Approach

本节概述了我们的方法。 我们建议（a）使用尚未使用的每个对象的sMRI信息来构造节点之间的边缘，（b）使用称为脑部摘要的f-MRI信息定义一组大脑3D模型，以提取特征向量，并且（ c）将这些功能与sMRI的相关信息融合在一起。 与这些方面有关的细节如下。

3.1. Subject similarity using structural MRI

通常，结构MRI(s-MRI)数据的维数过高，无法直接用于计算相似性评分。因此，需要一个高度压缩的版本，该版本仍可以包含足够的信息来推导不同大脑数据之间的相似程度。为了实现这一点，我们使用了预训练的VAE2将结构图像编码到尺寸明显较小的潜在空间（200个单位的向量）上。此外，余弦相似度用于确定所有对象的邻接矩阵。请注意，与第2节中提到的邻接矩阵不同，此处的矩阵将不会稀疏。因此，应用了自动确定的阈值，该阈值确保在图上的每个节点至少连接到其另一个节点的约束下，最大化稀疏性。为确保这一点，将阈值设置为每行（或每列）的所有最大值中的最小值。最后，如Parisot等人所述，我们使用特征向量创建总体图（2018），但使用sMRI信息表征其边缘。

3.2. Developing brain summaries

脑部摘要是指通过汇总沿时间维度上每个体素的信息而获得的大脑3D模型。为了减小输入量，我们采用了一种新颖的方法来为原始数据的每个体素及时计算“摘要”，从而生成3D体积。与传统的大脑地图集将整个大脑划分为较小的区域集不同，大脑图像的空间分辨率完全保留在大脑摘要中。这些措施是由神经影像文献提供的，过去已用于研究脑图像的特征（Zuo等，2011；Tomasi和Volkow，2010；Wang等，2014）。
在本文中，我们采用了12种这样的总结性措施，并研究了它们在自闭症分类中的作用。从ABIDE数据集中提取的这些摘要的示例图像如图2所示。每个摘要本身都可以解释为rs-fMRI图像的生物标记，可提供有关疾病状态或对治疗的某些信息（Davis等，2008）。过去，这些方法已被用来减少研究某种疾病的受试者所需的时间数据，并确定适当的对策。我们在DL框架中使用这些摘要，并研究每个摘要对模型性能的影响。我们的目标是确定最适合自闭症分类的GCN模型的摘要。附录A中提供了摘要概述。

3.3. Fusing sMRI and fMRI data using GCN

我们工作的最终目标是将sMRI的相关信息与已开发的大脑摘要相结合。 这种方法的示意图如图1所示，称为ss-GCN。 由于使用的大脑摘要以3D体积形式存在，因此需要将这些摘要转换为较低维的特征表示，以便在图模型的节点处使用。 这是通过使用3D CNN架构完成的（Ji等，2012）。 CNN最初仅使用来自训练数据的大脑摘要就CON或ASD的分类问题进行了训练。 训练完模型后，从其最后一层开始展平的特征图将被视为各个大脑摘要的特征向量。 然后，将使用sMRI获得的邻接矩阵和使用fMRI从脑部摘要获得的特征向量输入ss-GCN模型。 与实施相关的其他详细信息在附录C中进行了描述。

4. Experiments

我们提出了一系列实验来证明s-GCN和ss-GCN方法的有效性。 对于所有实验，我们使用自闭症脑成像数据交换的完整数据集（ABIDE I和ABIDE II）。 ABIDE数据集具有来自超过30个不同采集中心（站点）的2100多个自闭症（ASD）以及典型的（TD）参与者的结构和功能MRI扫描。 首先，我们使用Parisot等人的方法建立基准模型（2018），即p-GCN。 此外，我们提出了两个涉及sMRI数据和脑部摘要的实验。 有关实验设置的详细信息以及结果和见解如下。

4.1. Comparison of p-GCN and s-GCN

为了证明使用大脑结构优于以前使用的表型数据的优势，我们比较了p-GCN和s-GCN方法。为了公平比较，我们使用与Parisot等人相同的GCN设置（2018），并使用其公开发布的code3在完整的ABIDE数据集上执行10倍交叉验证。我们对9种不同的图集进行了实验，这些图集分别是AAL，cc 200，cradock 200，HO cort maxprob thr25-2mm，JAMA IC7，JAMA IC19，JAMA IC52，schaefer 100和schaefer400。对于所有图集，相同的预处理程序和使用规格。请注意，本文中使用的后处理图集与Parisot等人的图集不同（2018）。但是，由于我们对两种情况执行相同的预处理，因此用于比较的实验设置仍然有效。
图3显示了从完整的ABIDE数据库中的9个图集获得的p-GCN和s-GCN的10倍分类性能。可以观察到，对于9个图集中的6个，s-GCN获得的平均准确度值优于p-GCN。通常，对于s-GCN，所有地图集的平均方差都较低，并且我们观察到异常值数量大大减少。这意味着用sMRI替代表型数据可提高模型的预测能力及其稳定性。

4.2. Using brain summaries in s-GCN

为了评估建议的大脑摘要的使用，我们用从3D CNN中提取的编码替换了s-GCN中与图的节点相关的功能，如3.2节中所述。图1显示了ss-GCN的布局；它将来自大脑摘要的功能磁共振成像信息与从受试者的磁共振成像获得的关系信息融合在一起。我们使用相同的10倍交叉验证方案，并在表1中报告了前5个脑部摘要的性能。我们注意到，前5个脑部摘要的性能差异很小，其中ReHo，fALFF和ALFF表现最佳，其次是由VMHC和Dcb提供。 ReHo表现最佳的原因可能是因为它是一种基于体素的更稳定的测量方法，并且与其他测量方法相比相对更敏感（Chen et al。，2017）。同样，正如预期的那样，由于fALFF对生理噪声的敏感性降低，因此其性能略优于ALFF。附录D中报告了全部12个摘要的结果。

4.3. Across sites cross validation

ABIDE数据集是使用不同的扫描仪类型和采集协议（例如扫描时间和重复时间（TR））从多个站点聚合而成的。因此，数据集包含损害站点之间一致性的敏感变化。为了减少特定于站点的可变性源的影响并评估分类模型的鲁棒性，我们进行了留一留出的交叉验证实验。每个训练过程中遗漏的位置用作评估模型的测试集。设计这样的实验设置的动机是测试模型对以前看不见的站点的适应性。因此，我们进行了留一留的实验，以将p-GCN与建议的s-GCN和ss-GCN方法进行比较。为了在模型之间进行公平比较，我们选择了p-GCN和s-GCN的最佳性能图集，如图3所示（cc 200和schaefer 400），而ss-GCN的最佳摘要如表1所示（ReHo） 。
我们在5个网站上报告了准确性得分，这些得分对ABIDE中的科目数量贡献最大。应当注意，来自同一采集中心但具有不同ABIDE集合（I或II）的数据被视为来自不同站点。可以在附录B中找到与各个站点的主题组成相关的详细信息。表2给出了这5个站点的“一站式离开”实验的准确性得分。对于5个站点中的4个，我们提出的方法优于基线p-GCN方法。尤其是，我们观察到，对于ABIDEII-KKI 1和ABIDEII-GU 1站点，我们的ss-GCN方法相对于p-GCN方法分别有18.8％和8.9％的显着改进。这显示了我们提出的模型在多个站点上对自闭症（ASD）和健康对照（CON）进行分类的鲁棒性和可推广性。

5. Conclusions

在本文中，我们利用sMRI数据（与表型数据）以及fMRI数据相比较的相关信息，对使用GCN进行的自闭症进行分类。 我们在完整的ABIDE数据集上的结果表明，所提出的方法比使用表型数据的方法表现更好。 此外，我们显示，用脑部摘要代替地图集会使模型对新案例的功能更强大，最佳案例改进超过18％。 与以前的工作不同，我们证明了该模型即使在没有主观地从整个数据集中挑选样本的情况下也能表现良好。 这意味着我们的模型在噪声水平较高的情况下可以很好地概括。 总而言之，我们的ss-GCN模型在结构和功能MRI数据上运行并使用脑部摘要，其性能与常规自闭症分类方法相当或更高。 对于神经影像学界来说，将其视为使用GCN进行自闭症分类研究的另一方向是很有意义的。