9 2019-Jointly Discriminative and Generative Recurrent Neural Networks for Learning from fMRI

最新推荐文章于 2022-10-22 17:00:20 发布

edwinhaha

最新推荐文章于 2022-10-22 17:00:20 发布

阅读量420

点赞数

分类专栏： ASD 文章标签：深度学习

原文链接：https://academic.microsoft.com/paper/2980111163/reference/search?q=Jointly%20Discriminative%20and%20Generative%20Recurrent%20Neural%20Networks%20for%20Learning%20from%20fMRI.&qe=Or(Id%253D2064675550%252CId%253D1810943226%252CId%253D2913340405%252CId%253D2

版权

ASD 专栏收录该内容

11 篇文章 15 订阅

订阅专栏

在这里插入图片描述

文章目录

Abstract
1 Introduction
2 Methods
- 2.1 Network Architecture
- 2.2 Extraction of Functional Communities
3 Experiments
4 Conclusions

Abstract

递归神经网络（RNN）设计用于处理时间序列数据，最近已用于根据功能磁共振成像（fMRI）数据创建预测模型。但是，收集大量的fMRI数据集进行学习是一项艰巨的任务。此外，网络的可解释性还不清楚。为了解决这些问题，我们利用多任务学习并设计了一个新颖的基于RNN的模型，该模型学会了区分类别，同时学会生成fMRI时间序列数据。利用长短期记忆（LSTM）结构，我们开发了基于隐藏状态的区分模型和基于细胞状态的生成模型。生成模型的添加限制了网络学习由LSTM节点表示的功能社区，这些社区既与数据生成一致，又对分类任务有用。我们使用自闭症脑成像数据交换的几个数据集，将我们的方法应用于自闭症与健康对照的分类。实验表明，我们共同的判别式和生成式模型在改进分类学习的同时，还生成了健壮且有意义的功能社区，以更好地理解模型。

1 Introduction

功能磁共振成像（fMRI）已成为研究神经系统疾病和疾病的重要工具。此外，机器学习已开始发挥重要作用，其中学习分类模型并进行解释以发现潜在的疾病性fMRI生物标记物。从静止状态功能磁共振成像建立分类模型的传统方法首先将大脑分成多个感兴趣区域（ROI），并使用ROI之间的功能连接作为分类算法的输入[1]。近年来，随着深度学习的到来，已经探索了基于时间序列数据和递归神经网络（RNN）模型相结合的时间输入，以根据功能磁共振成像进行预测[7,8,14]。这种RNN模型设计用于处理顺序数据，因此对于处理fMRI十分有吸引力。但是，很难获得有效深度学习所需的大量样本来获取fMRI数据，尤其是对于许多不同的患者群体或研究类型而言。

处理有限数据问题的一种方法是应用多任务学习[4]。多任务学习中的思想是共同学习相关任务之间的共享信息，以改善每个单独任务的学习。对于基于fMRI数据的分类任务，例如，将患有给定疾病的受试者与健康个体区分开，通常限制了标记数据的数量。因此，我们建议通过联合学习fMRI数据的辅助生成模型（不需要任何注释）来应用多任务学习，以改进目标判别任务的学习。此外，同时学习生成模型将有助于解释判别模型。

具体来说，我们建议共同学习判别任务，同时还通过使用具有长短期记忆（LSTM）的RNN学习生成输入fMRI时间序列。生成RNN模型已广泛用于自然语言处理中，例如，用于文本生成[9]，但在医学成像领域的应用受到限制。此外，具有判别性和生成性成分的多任务学习已经在许多不同的神经网络体系结构（尤其是生成性对抗网络）中进行了组合，但是这种利用RNN框架的联合学习方法才刚刚开始探索，并且在针对目标的对抗性训练的背景下生成任务[2]。

在本文中，我们设计了一个基于LSTM的基于RNN的新型模型，以通过利用共享LSTM层中的状态信息来同时学习判别性任务和生成性任务。使用fMRI ROI时间序列作为输入，我们将LSTM块解释为将大脑中功能活动的协调建模，并将LSTM的节点表示为代表功能社区，即输入大脑ROI的分组，这些分组共同工作以生成 fMRI时间序列并执行区分性任务。我们将提出的网络用于ASD与健康对照的分类，并在自闭症脑成像数据交换（ABIDE）I数据集的多个数据集上进行验证。与最近的几种方法相比，我们在单站点ABIDE数据上实现了一些最高的准确性。最后，我们通过分析提取的功能社区的健壮性来评估生成结果，并验证有影响力的社区在ASD的背景下进行分类。

2 Methods

2.1 Network Architecture

LSTM Block for Communities：LSTM模块旨在学习序列数据中的长期依赖性[10]。 LSTM单元由4个具有 $K$ 个节点的神经网络层组成，这些节点调制两个状态向量，即隐藏状态 $h_t \in \mathbb{R}^K$ 和单元状态 $c_t\in \mathbb{R}^K$ 。使用来自当前时间点 $x_t\in \mathbb{R}^R$ 的输入以及来自先前时间点 $h_{t-1}$ 和 $c_{t-1}$ 的状态信息来更新状态向量。
在这里插入图片描述
其中，对于层 $l\in \{i,f,o,c\}$ ， $W_l$ 是输入的权重， $U_l$ 是隐藏状态的权重， $b_l$ 是偏置参数。

提出的网络首先将fMRI ROI时间序列作为LSTM层的输入（图1，蓝色路径）。该层的目的是发现ROI的有意义的分组，即功能社区，这些分组对于生成和分类输入数据都非常重要。 LSTM块充当R个人ROI和由大脑网络形成的K功能社区之间的相互作用的模型，以产生社区活动。然后，每个功能社区k生成的活动由隐藏状态 $h_t(k)$ 和小区状态 $c_t(k)$ 表示，它们将用作网络其余部分的输入。
在这里插入图片描述

用于fMRI的标准社区检测方法基于功能连接性进行聚类，其中高度正相关的ROI被分组为一个社区。在我们的方法中，我们建议通过LSTM中建模的交互作用和生成的ROI数据定义功能社区（请参阅第2.2节）。为了确保社区中的ROI与标准方法一样具有积极的联系，我们将输入权重 $W_l$ 约束为非负。

Discriminative Path: 网络的区别性部分旨在对ASD与典型对照进行分类（图1，橙色路径）。该体系结构类似于[7]中提出的分类网络。区别在于我们的方法首先通过LSTM层处理输入时间序列，该层学习表示ROI数据的功能社区。然后，在每个时间点将LSTM单元的隐藏状态馈送到另一个LSTM层，然后馈给具有单个节点的共享密集层，平均池层和S形激活，以得出ASD的可能性。

Generative Path: 网络的生成部分希望在长度为 $T$ 的输入时间序列的下一个时间点 $x_{T+1}$ 处生成数据（图1，绿色路径）。首先，与判别网络中的功能通信相同的LSTM层对输入进行处理。然后将LSTM单元的最终单元状态 $c_T$ 传递到具有 $R$ 个节点的密集层，以生成下一个时间点 $\widehat{x _{T +1}} = W_{d^cT} + b_d$ 的预测ROI值。为了强制社区对其成员产生积极影响，我们将此密集层的权重限制为非负。

Model Training:在训练过程中，判别和生成路径通过损失函数 $L_G( x_{T+1}，\widehat{x_{T +1}}) +\lambda L_D(y,\hat{y})$ 捆绑在一起，其中 $L_G$ 是生成模型的损失， $L_D$ 是损失对于判别模型， $y\in \{0,1\}$ 是真实标签（1表示ASD）， $\hat{y}$ 是ASD的预测概率，而 $\lambda$ 是在两个损失之间取得平衡的超参数。为了进行正则化，我们在判别网络中的共享密集层和均值池层之前以及生成网络中的密集层之前包括dropout层。

2.2 Extraction of Functional Communities

如上所述，我们建议将第一个LSTM块的每个节点解释为代表一个功能社区，其中社区活动由状态向量 $h_t$ 和 $c_t$ 概括。由于很难通过LSTM块的所有层来分析ROI与社区之间的交互，因此我们建议根据社区对每个ROI的影响来定义社区。回想一下，生成路径将单元状态 $c_T$ 用作密集层的输入，以生成下一个ROI值 $\widehat{x_{T+1}}= W_{dcT} + b_d$ 。从图结构的角度来看，社区是由密集连接的节点定义的，即社区的每个成员都受到该社区的强烈影响，但社区也受到其成员的强烈影响。因此，我们将使用权重 $W_d\in \mathbb{R}^{R×K}$ 来表示各个ROI及其功能社区之间的隶属关系。 $W_d$ 的行 $r$ 表示每个社区对ROI $r$ 的影响，而 $W_d$ 的列 $k$ 表示每个ROI对社区 $k$ 的影响。为了提供硬成员资格分配，我们对 $W_d$ 的 $k$ 列中的成员权重执行2个聚类的 $k$ 均值聚类，然后将聚类中提取的ROI以更大的权重分配给社区 $k$ （图1，右下）。

3 Experiments

3.1 Data

我们使用了四个样本最大的ABIDE I [6]站点的静止状态fMRI数据：纽约大学（NY），密歇根大学（UM），犹他大学医学院（美国）和加利福尼亚大学，洛杉矶（UC）。我们使用Connectome计算系统管道，全局信号回归和带通滤波，以及具有116个ROI的自动解剖标记（AAL）分割从“预处理Connectomes项目” [5]中选择了预处理数据。对每个受试者的每个ROI提取的平均时间序列进行了标准化（减去均值，除以标准差）。

由于用于神经网络训练的每个站点的对象数量很少，因此我们通过从每个对象中提取所有长度为T = 30（即1分钟的扫描时间）的可能的连续子序列来扩充数据集，从而生成尺寸为30×116的输入。因此，我们将数据扩充了约150-250倍，每个站点总共约有14000-38000个样本。在测试时，将给定对象的ASD预测概率设置为标记为ASD的子序列的比例。

3.2 Experimental Methods

针对每个单独的ABIDE站点训练了ASD与对照分类模型。我们实现了以下基于LSTM的网络，这些网络均以ROI时间序列数据作为输入：拟议的歧视性/生成性LSTM联合网络（LSTM-DG）；相同的网络，但使用隐藏状态进行数据生成和类别识别（LSTM-H）；相同的网络，但没有生成约束，即仅判别损失（LSTM-D）； [7]（LSTM-S）中提出的单层区分性LSTM网络。模型在Keras中实现，第一个LSTM（针对功能社区）有50个节点，第二个LSTM有20个节点。使用Adam优化器进行优化，其中LD的二进制交叉熵，LG的均方误差，批大小为32，并基于验证损失和10个耐心而提前停止。对于联合判别/生成网络，我们将 $\lambda$ 设置为0.1，以使LG和LD的比例相似。我们还实现了用于静止状态功能磁共振成像（FC-SVM）的传统学习管道[1]：将基于Pearson相关性的功能连通性输入到具有L2正则化的线性支持向量机中，使用嵌套交叉验证选择惩罚超参数。所有实现的模型都在扩充数据集上进行了培训和测试。此外，我们比较了相同ABIDE数据集和AAL地图集的已发布结果，包括使用隐藏马尔可夫模型（HMM）的另一种时间序列建模方法[11]和基于堆叠式自动编码器和深度转移学习（DTL）的另一种神经网络方法[ 13]。

为了评估我们的实施模型，我们使用了10倍交叉验证（CV），将来自同一主题的所有数据保留在同一分区（训练，验证或测试）中。我们通过计算准确性（ACC），真实正率（TPR），真实负率（TNR）和接收器工作特性曲线（AUC）下面积来测量模型分类性能。配对的单尾t检验用于比较所有折叠和数据集的模型性能。

对于生成结果，对于功能性社区没有任何实际意义，我们改为评估提取的社区的鲁棒性，并比较了张量分解方法以查找重叠的社区。对于每个样本，我们计算了 $R$ ROI时间序列的相关矩阵，然后生成了尺寸为 $R \times R \times S$ 的张量 $T$ ，其中 $S$ 是样本数。然后，我们使用非负PARAFAC [3]分解 $T\approx \sum_{k=1}^K a_k\circ b_k\circ c_k$ ，其中 $K$ 是社区的数目， $a_k = b_k\in \mathbb{R}^R$ 包含每个ROI对社区 $k$ 的成员权重， $c_k\in \mathbb{R}^S$ 包含每个样本对社区 $k$ 的隶属度，而 $\circ$ 是向量外积。与我们的方法类似，我们设置 $K = 50$ 个社区，并使用 $k$ 均值聚类为每个社区分配硬ROI成员资格。然后，对于每种方法，我们都计算了第1折中的社区 $k$ 和第 $f\neq 1$ 折中的所有社区之间的成员资格权重和硬成员资格设定的Dice相似系数（DSC），与第f折中的所有社区相比。将倍数 $f$ 测量为以倍数f计算的最大相关性/ DSC。然后，我们使用所有社区的平均相关性/ DSC评估了1倍与 $f$ 倍之间的总体社区稳健性。

我们还使用Neurosynth [15]在ASD分类任务中对功能社区进行了验证，该任务将超过14000个fMRI研究与1300个描述符相关联。社区对分类的影响由用于区分性任务的第二个LSTM块中所有节点上的绝对权重之和表示。然后将提取的重要区分区域的ROI的二进制掩码输入Neurosynth，以评估与ASD分类相关的神经认知过程。

3.3 Classification Results

每个ABIDE站点的分类结果在表1和表2中。我们的LSTM-DG模型在4个站点中的3个站点中产生了最高的准确性，而在美国则是第二高的，其中我们模型的LSTM-H变化（从隐藏状态生成的路径））效果最佳。此外，LSTM-DG在每个位置产生最高或几乎最高的AUC。总的来说，与LSTM-H（ACC p = 0.08）相比，我们的LSTM-DG始终优于所有非生成型实施模型（ACC $p < 0.05$ ），并显示出改进分类的潜力。此外，LSTM-DG是唯一优于LSTM-S（ACC $p = 0.04$ ，TNR $p = 0.04$ ）的唯一方法，LSTM-S是用于fMRI分类的原始LSTM模型。结果证明了我们提出的LSTM-DG方法通过共同学习生成性fMRI时间序列模型来改善分类的有效性。
在这里插入图片描述

在这里插入图片描述

3.4 Learned Functional Communities

通过基于张量的社区检测（CD，蓝色）和建议的LSTM方法（橙色）提取的社区的结果绘制在图2中。与CD相比，我们的LSTM方法产生的社区规模较小，大小比CD更均匀，平均为11与16相比，投资回报率更高。此外，我们的LSTM方法持续生成的社区具有更高的会员权重相关性和所有站点的CV折叠中硬社区分配的较高DSC，平均相关性增加15％，平均DSC增加11％。因此，我们提出的网络比CD产生了更小，更健壮的功能社区，这为我们的模型提供了对功能社区的进一步分析进行更可靠解释的潜力。
在这里插入图片描述

从最佳CV折叠中提取最大数据集（NY）的ASD分类的前3个有影响力的社区，并在Neurosynth中进行分析。自闭症的特征是社交能力和沟通能力受损；因此，我们希望找到与相关神经功能有关的社区。提取最多的群落（图3，黄色）包括颞叶和腹膜前额叶皮层，它们与社交和语言过程有关。第二个群落（图3，绿色）包括腹侧前额叶皮层，海马和杏仁核，它们与记忆有关。第三个群落（图3，粉红色）包含腹侧前额叶皮层和腹侧纹状体，参与奖励处理和决策。先前已经证明了ASD中所有这些大脑区域和过程的功能障碍[12]。

在这里插入图片描述

4 Conclusions

我们提出了一个新颖的基于RNN的网络，用于共同学习fMRI时间序列数据的判别任务和生成模型。我们在几个数据集上实现了更高的ASD分类性能，证明了联合学习的优势。最后，我们表明，由LSTM节点定义的功能社区提供了大脑活动的可靠表示，并有助于解释ASD分类模型。了解功能网络的组织将提供对脑疾病以及健康认知的见解。