10 2017-Identifying Autism from Resting-State fMRI Using Long Short-Term Memory Networks

论文地址：https://www.researchgate.net/publication/319584236_Identifying_Autism_from_Resting-State_fMRI_Using_Long_Short-Term_Memory_Networks

Abstract

功能磁共振成像（fMRI）已帮助表征自闭症谱系障碍（ASD）的病理生理学，并有望为ASD产生客观的生物标志物。最近的工作集中在从静止状态功能连接性措施中推导ASD生物标志物。但是，目前已经以较高的准确度识别出ASD的方法仅限于同类的小型数据集，而异构，多站点数据的分类结果则显示出较低的准确度。在本文中，我们建议使用具有长短期记忆（LSTM）的递归神经网络直接从静止状态fMRI时间序列对具有ASD的个体和典型对照进行分类。我们使用了整个大型的多站点自闭症脑成像数据交换（ABIDE）I数据集来训练和测试LSTM模型。在交叉验证框架下，我们实现了68.5％的分类准确度，比以前报道的使用整个ABIDE队列中的fMRI数据的方法高9％。最后，我们介绍了受过训练的LSTM权重的解释，强调了潜在的功能网络和已知与ASD有关的区域。

1 Introduction

功能磁共振成像（fMRI）研究自闭症谱系障碍（ASD）的病理生理学，有望鉴定出神经发育障碍的客观生物标志物。 发现ASD的生物标志物可能会导致更好地了解ASD的根本原因。 这将具有深远的影响，有助于诊断，改进疗法的设计以及监测和预测治疗结果。

最近的工作集中在根据功能连接性的测量方法研究ASD生物标记物，该功能性是从静止状态fMRI（rsfMRI）计算得出的。 功能连接性度量用作对ASD v.s分类的预测指标。 神经型控制，使用流行的学习方法，例如支持向量机，随机森林或脊回归[1,3,13]。 被认为对准确分类重要的成对连接是潜在的ASD生物标志物。

虽然已经报道了从rsfMRI识别ASD的准确性很高，但使用从单个[15]或几个[13]成像部位收集的小型，均一的数据集即可发现这些结果，并且可能无法很好地推广到较大的异质ASD人群。为了帮助发现更广泛的发现，自闭症脑成像数据交换（ABIDE）收集了来自17个站点的1112名受试者的神经影像和表型数据，作为他们的第一个公开共享数据集ABIDE I [7]。虽然较大的数据集通常有助于提高分类精度，但事实证明，ASD的异质性是一个挑战。最近对这种多样化数据集的大部分进行训练的方法显示出较低的分类准确性[9,12]。

我们提出了一种新方法，在该方法中，我们直接从rsfMRI时间序列中学习ASD分类，而不是从预先计算的功能连接性度量中学习。 由于功能磁共振成像数据代表动态的大脑活动，因此我们假设时间序列将比单个静态功能连接性度量携带更多有用的信息。为了直接从rsfMRI时间序列中学习，我们将我们的方法基于长短期记忆网络（LSTM），这是一种旨在处理非常长的序列数据的深度神经网络[10]。在本文中，我们研究了使用LSTM从rsfMRI时间序列中识别具有ASD的个体。据我们所知，这是LSTM首次用于对fMRI数据进行分类。我们在整个ABIDE数据集上训练和测试已开发的LSTM模型，并将分类准确性与以前根据rsfMRI对ABIDE受试者进行分类的研究进行比较。最后，我们解释最佳模型，确定对区分ASD和典型对照重要的大脑区域。我们假设学习到的LSTM权重将编码以前与ASD有关的潜在网络。

2 Methods

2.1 Network Architecture

LSTM是一种特殊类型的递归神经网络，由重复的单元组成，这些单元接收前一个单元的输入以及当前时间步长t的数据输入$x_t$。 每个LSTM单元包含一个单元状态$c_t$和隐藏状态$h_t$，它们由4个神经网络层进行调制，这些神经网络层控制信息流入和流出单元存储器的流程。 控制LSTM的公式为：

$W$个矩阵包含应用于当前输入的权重，$U$个矩阵表示应用于先前的隐藏状态的权重，$b$个矢量是每层的偏置，而$\sigma$是S型函数。 它的输入门（等式（1））决定更新当前估计的单元状态中的哪些信息。 遗忘门$f_t$（等式（2））控制保留来自先前单元状态的哪些信息。 接下来，分别将估计的当前单元状态（等式（3））和先前的单元状态与来自输入门和忘记门的限制组合，以更新单元状态（等式（4））。 最后，使用输出门$o_t$（等式（5））对单元状态信息进行过滤，以更新隐藏状态（等式（6）），该状态是LSTM单元的输出。

• 我们提出了一种LSTM架构，该架构采用rsfMRI时间序列作为输入$x$，并将每个重复单元的输出连接到具有单个节点的密集层（图1）。
• 与在分析整个序列（$h_T$）之后查看最终输出的传统方法相比，这使信号在每个时间点都可以更直接地说明如何对信号进行分类。我们相信，这对于嘈杂的功能磁共振成像数据将更加健壮。
• 然后，将单个节点的输出在整个序列中取平均值，并馈送到S型激活函数中，以产生ASD标签的可能性。
• 为了正规化，在训练过程中，我们按照Gal等人的方法将落差应用于LSTM权重 [8]。并在单节点密集层和池化层之间添加标准的dropout层。
• 在下文中，我们还将研究两层LSTM模型，其中将从第一层输出的隐藏状态用作第二LSTM层的输入序列，此后的架构与单层模型相同。

2.2 Dataset and Preprocessing

ABIDE I数据集包括来自17个国际站点的539名ASD患者和573名典型对照的rsfMRI。 为了进一步加强数据共享的工作，预处理连接组项目使用大量流行的管道和一些计算得出的导数发布了预处理的ABIDE数据[5]。 我们选择通过Connectome计算系统处理的数据，而无需进行全局信号回归，而是使用带通滤波。 有关更多预处理的详细信息，请参见ABIDE预处理的网站[14]。

预处理的ABIDE数据包括从多个地图集定义的感兴趣区域中提取的平均时间序列。 在这里，我们利用了Craddock 200地图集的平均时间序列[6]，该时间序列适用于1100名受试者。

每次时间过程均被标准化以表示该感兴趣区域相对于平均信号的百分比变化。 此外，由于不同的站点使用不同的采集协议，因此我们使用2 s的间隔对每个时间序列重新采样，以使数据处于相同的时间范围。 来自200个图集区域的经过预处理的平均时间过程被用作LSTM的输入$x$。

2.3 Data Augmentation

虽然ABIDE数据集包含大量的神经影像数据库主题，但训练神经网络通常需要更多样本以防止过度拟合。 此外，ABIDE时间课程的长度视站点而定。 因此，我们建议将所有主题的输入时间过程裁剪为固定的序列长度，并增加每个主题的输入数量，以充分利用整个时间序列。 根据最短时间序列的长度，我们选择序列长度T = 90，代表3分钟的成像时间。 对于每个主题，我们从时间序列中裁剪10个长度为T的序列，随机改变每个裁剪序列的开始时间。 这使我们的数据集增加了10倍，总共达到11,000个输入序列。

3 Experiments

3.1 Experimental Methods

使用Keras [4]进行LSTM培训和测试。 使用二进制交叉熵损失函数和具有默认参数值的Adadelta优化器对模型进行训练。 培训期间的辍学率固定为0.5。 使用默认的Keras设置初始化模型。

我们探索了所提出的体系结构的参数和变化以及培训条件的影响。我们测试了不增加数据，改变LSTM中隐藏节点的数量（8、16、32或64），并删除了遗漏。我们还测试了基础网络上的变体：仅将最终LSTM单元的输出（hT）连接到单个密集节点，然后堆叠LSTM层。

为了验证LSTM的性能，我们使用了分层的10倍交叉验证，以便每个位置的受试者比例在所有折叠中都大致相同。对于每一折，将数据分为85％用于训练，5％用于验证和10％用于测试。使用增强数据集时，属于同一主题的所有序列都会出现在训练，验证或测试中。当验证损失在20个时期内没有减少或执行了300个时期时，训练便停止了。然后，根据剩余的测试数据对训练后的模型进行测试。基于每个输入序列的分类（“序列准确性”）以及使用来自受试者的所有输入序列的平均分数（“受试者准确性”）对每个受试者的分类来评估准确性。显着性检验使用α= 0.05的双尾配对t检验进行。我们将我们的方法与以前在ABIDE rsfMRI上训练的研究进行了比较。为了更好地与使用ABIDE队列中不同子集的其他研究进行比较，我们计算了模型准确度与被测数据集中偶然分配分类准确度之间的差异。

最后，我们考虑了对LSTM模型的解释，这导致了最高的分类精度。在LSTM权重矩阵Wl（n，r）中具有大幅度的条目，无论是否带有符号，都应表示图集区域r对L层的LSTM节点n有很大的影响。我们调查了对每个层和每个节点都重要的区域。首先，对于每一层l，我们对所有节点上的权重的绝对值求平均值。然后，我们创建了重要区域的二进制掩码，这些区域被定义为权重大于该层的平均值的2个标准偏差的那些区域。然后将重要区域的遮罩输入Neurosynth，这是一种荟萃分析工具，可将大脑图与大约10,000个fMRI研究的数据库进行比较，并在图和近3000个描述符之间分配相关性[16]。类似地，对于每个节点n，我们将重要区域定义为权重大于每个层的节点中均值2个标准差的区域，将所有层中的重要区域聚合到每个节点的单个二进制掩码中，然后输入掩码进入Neurosynth进行解释。

3.2 Classification Accuracy

表1比较了以前的研究结果和我们的LSTM模型的结果。Plitt等人报道了最高的准确性。 [13]; 但是，仅使用了ABIDE数据集的一个很小的非常均匀的子集（16％）。 Chen等。 [3]与机会相比显示出很大的改善，但也使用了非常修剪的数据子集和单个训练/验证拆分。 与数据集最大的两项研究[9,12]相比，我们的LSTM模型仅在每个主题的单个输入序列上进行训练，其准确性较低。 使用增强数据集的所有其他LSTM模型的性能甚至更好。

所有模型的受试者准确性均高于序列准确性。 在单层模型中，具有32个隐藏节点的LSTM达到了最高的主题精度（68.5％）。 与使用大多数ABIDE队列的最有竞争力的结果相比，我们的准确性和机会之间的差异高出3％以上，而我们的数据集包含更具挑战性的异构数据，而受试者却多了25％。 此外，与受试者数量最接近的研究相比[9]，与机会相比，我们的模型将准确率提高了9％。 因此，我们的方法可能会最好地推广到新数据。

建议网络的所有测试变体都会导致精度下降。 删除掉落正则化将准确性降低了近7％。 仅使用LSTM序列的最终隐藏状态会使准确性降低4％。 最后，用两个堆叠的LSTM层创建更深的模型无济于事。

3.3 Model Interpretation

我们调查了最佳模型LSTM32的学习权重。表2为每一层显示了最相关的Neurosynth解剖和功能描述符。输入和忘却门调制着细胞状态信息，受到与语言和交流相关的区域的严重影响。这些功能的损害是ASD的主要症状。与当前估计细胞状态的影响区域相关的功能性术语对于支持社交互动非常重要，这对于自闭症患者而言很难。输出门受到与自指代处理相关的区域的影响最大，这已显示在自闭症个体中受到损害[11]。

最后，我们探索了每个LSTM细胞节点编码的潜在脑网络。影响最大的四个节点的重要区域（即，来自神经网络的密集层的权重最大）显示在图2中。这些区域分组突出显示了受ASD影响的神经认知功能。例如，自闭症患者缺乏社交奖励，脸部处理和沟通技巧受损，自闭症社会受损的主要假设心理理论[2]。

4 Conclusions

我们提出了一种使用LSTM从rsfMRI识别ASD个体的方法。与使用ABIDE队列的大多数方法的其他方法相比，我们的模型显示出最高的分类精度。我们认为，重要的是要在大型异构数据集上取得成功，因为ASD涵盖范围广，对于自闭症和年幼的儿童，图像质量可能难以控制。数据扩充和网络结构的选择对于训练准确的模型至关重要。对超参数进行更深入的调整，对其他分类（包括人口统计学信息）进行训练以及组合模型可能会导致更高的分类精度。

学习的LSTM输入权重具有有意义的解释。先前已显示出对网络有很大影响的解剖区域在ASD中是异常的。此外，荟萃分析突出了在ASD患者中受到影响的神经认知过程。对网络激活和隐藏状态权重的检查可能导致对ASD机制的更多见解。