基于变分自编码器的静息态fMRI数据的表征学习

《本文同步发布于“脑之说”微信公众号，欢迎搜索关注~~》
静息状态功能性磁共振成像(rsfMRI)数据显示出复杂但结构化的模式。然而，在rsfMRI数据中，潜在的起源是不清楚的和纠缠的。在这里，我们建立了一个变分自编码器（VAE），作为一个生成模型可用无监督学习训练，以解开rsfMRI活动的未知来源。在使用人类连接组项目(Human ConnectomeProject)的大量数据进行训练后，该模型学会了使用潜在变量表示和生成皮层活动和连接的模式。潜在表征及其轨迹表征了rsfMRI活动的时空特征。潜变量反映了皮层网络潜轨迹和驱动活动变化的主梯度。表征几何学捕捉到潜在变量之间的协方差或相关性，而不是皮质连通性，可以作为一个更可靠的特征，从一个大群体中准确地识别受试者，即使每个受试者只有短期数据可用。我们的研究结果表明，VAE是现有工具的一个有价值的补充，特别适合于静态fMRI活动的无监督表征学习。
1.简述
无监督学习更适合于揭示驱动大脑内在活动的根本原因，而不管任何任务或疾病。我们选择使用变分自动编码器(VAE)，用于rsfMRI中不断增长的大数据的无监督学习，而不需要任何标签或仅仅专注于任何下游任务。与自编码器不同的是，VAE是一种生成模型，能够合成与训练数据相似的新数据，并根据先验球面高斯分布对潜在空间进行正则化（图1）。这些属性允许学习的表示用潜在变量来表示，这些潜在变量编码数据的解耦原因。我们对解开潜在表示的重视，使这项工作有别于之前的几项基于各种深度神经网络实现的自动编码器的工作。在本研究中，我们设计并训练了一个VAE模型来表示rsfMRI数据的潜在来源，并测试了其解释和生成rsfMRI数据的能力。我们刻画了潜表示的时间演化轨迹，并用主分量分解其梯度。我们还分析了个体内部和个体之间的代表性梯度和几何图形，作为一种表征大脑网络及其动态交互的方法。最后，我们测试了使用该模型来描述个体变异，并从rsfMRI数据中识别个体，作为其应用的开始例子。

图1 变分Auto-Encoder (VAE)。(一)几何重新格式化。fMRI活动的皮层分布被转换到一个球面上，然后通过相对于sin(e)和a均匀地重新采样球面上的图像，其中e和a分别是仰角和方位角。(b) Encoder-decoder架构。编码器和解码器各包含5个串联的卷积层。
2. 结果
2.1 VAE压缩rsfMRI图
受其在人工智能方面的成功启发，我们设计了一个VAE模型，以解开rsfMRI活动的生成因素。该模型经过训练以表示和重建rsfMRI数据，并使用一组潜在变量，这些变量被限制为尽可能独立。超参数β,表达了潜变量之间独立性相对于从潜变量重构的数据的误差的加权,最初的探索不同的值(1,5,6,7,8,9,10)和测试验证数据集。如图2所示,该模型能够代表数据的潜在变量的后验分布略有降低,而β从1增加到9。β= 9,模型达到一个合理的之间的权衡的能力来代表输入数据和潜在变量的独立性。然而,在β= 10(或更高版本),数据重建崩溃，而变分后验分布进一步被迫与先验匹配，这被称后崩溃。为了避免后崩溃,我们设置β= 9作为训练和测试的最终设置VAE rsfMRI数据。
该模型在编码器-解码器结构中使用了一对卷积和反卷积神经网络(图1.b)。编码器将任何rsfMRI模式(格式为规则2D网格上的图像)转换为256个潜在变量的后向分布。解码器使用潜在变量的样本来重建或生成功能磁共振成像图。使用来自HCP的数据(WU-Minn HCP Quarter 2)，我们首先使用来自100名受试者的rsfMRI地图训练模型，然后使用来自500名不同受试者的rsfMRI数据测试它。
在训练之后,模型可以压缩任何fMRI图到低维的潜在空间,并分别为每个时间点从潜在表示中恢复地图 (图3)。压缩导致空间模糊与空间4 - 6毫米半宽度平滑的效果可比(图4)。鉴于fMRI数据在不同程度上(FWHM从1到10 mm)空间平滑， VAE在表示和重建数据方面的表现与线性对应(使用GIFT或MELODIC获得的PCA或ICA)可比或更好，当使用相同的潜在空间维数(256)(图4.a)。对于本研究中检验的所有水平的空间平滑，VAE、PCA或ICA (GIFT或MELODIC)之间的重建性能差异具有统计学意义(图4.b)。这些结果表明，尽管在空间分辨率和特异性上有适度但可接受的损失，VAE获得的后潜表征保留了rsfMRI的空间和时间特征。

图2 在损失函数中使用不同β值训练的VAE模型的重构 vs 解开

图3 用VAE重构图像

图4 VAE,PCA,ICA对rsfMRI数据压缩和重构

2.2 VAE合成相关的VAE活动
VAE的解码器作为fMRI活动的生成模型，是否已经了解rsfMRI活动模式产生于大脑网络的假定机制。为了解决这个问题，我们从每个潜在变量的先验概率分布(即标准正态分布)中随机取样，并使用解码器合成12,000张rsfMRI图(相当于10名受试者在1200个时间点上的时间样本)。
我们使用VAE合成数据计算基于种子的相关性，并将得到的FC图与不同数量受试者的rsfMRI数据获得的相应图进行比较。图5所示。a展示了三个例子，分别是初级视觉皮层(V1)的种子区、顶叶内沟(IPS)或后扣带回皮层(PCC)。对于三个种子位置，合成的fMRI数据显示出与10名受试者长度匹配rsfMRI数据相似的种子FC图(图5.a)。FC模式与文献一致。当测量的FC是基于越来越多的受试者的数据时，无论FC是针对特定的种子位置(图5.b)还是针对所有皮层分区(图5.c)进行评估，测量的FC模式更接近于合成的FC模式。这些结果表明，VAE为静息状态活动的生成过程提供了计算解释，并可以合成真实的rsfMRI空间模式，并保留了实验观察到的群体或种群水平上的区域间相关性。当生成过程利用从其先验分布(即标准高斯分布)中取样的潜在变量时，生成的FC模式反映的是总体的平均水平，而不是个性化的特征。然而，值得一提的是，合成数据的时间排序没有意义，因为VAE模型没有明确地模拟时间动态。在这个比较中，时间排序与时间相关系数的计算无关，在时间上进行随机变换后，最终得到了相同的时间依赖性度量。

图5 VAE合成相关的fMRI活动
2.3 潜变量反映了网络动态
我们还研究了潜在表征的时间演化轨迹，重新定义了潜在变量，以反映功能磁共振活动的动态变化。如图6所示。首先，我们评估从每个时间点到下一个时间点的潜在表示的位移，并使用产生的随时间变化的位移向量作为测试数据集中所有500名受试者在每个时间点的潜在梯度的近似。然后应用奇异值分解，利用得到的奇异向量将潜在变量重新定义为生成潜在空间的唯一基集。这些潜变量，按照其奇异值的降序排列，代表了潜变量趋向于沿着其时间演化轨迹移动的方向。
我们将前9个潜变量作为前9个主潜梯度，按降序解释脑网络活动的潜动力(图6.b)。每个主梯度都是潜伏空间中的一个向量，因此可以通过自身通过VAE的解码器进行可视化，从而产生相应的皮层模式(图6.c)。第一个潜在变量突出了感觉运动区域，包括初级视觉、听觉和运动皮质，与外侧顶叶内皮质相反极性。第二个潜在变量被可视化为背侧注意网络和默认模式网络之间的反相关模式，类似于Fox和同事的发现，但没有使用全局信号回归的混淆程序。第三个潜在变量对应于一个很大程度上的单极模式，可能反映了全球信号的皮质特征。第四潜变量表现为运动皮层与认知控制网络的对立。第5潜变量表现为部分默认模式网络与额顶叶控制网络的对立。第6至第9个潜在变量更复杂，用探索式静态网络来解释更不直接。
经检验和重测，主潜在梯度具有较高的重现性。我们将500名受试者随机分为两组(每组250人)，分别获得每组前9名的主潜在梯度及其皮层可视化。对于对角线元素(相关符号是任意的)，前半部分和后半部分的主潜在梯度之间的成对相关性矩阵非常高(图6d, top)。除了第3和第4个梯度在数据集的第1和第2个梯度上改变了它们的顺序。由主潜在梯度解码的皮层模式的重测相关性普遍表现为对角线元素的相关性高于非对角线元素。然而，非对角相关性不一定为零。这是合理的，因为VAE是非线性的，潜伏空间的正交性并不意味着皮质空间的正交性。

图6 潜梯度驱动了潜表示的动态
2.4 潜表示的个体差异
而上述分析集中在群体层面的潜表征特征，我们进一步询问潜表征在个体中的分布和几何形状如何变化。仅为了演示，我们在测试数据集中随机选取20个被试，使用t-SNE将潜在空间的维数从256降为2后，将他们的个体表示在潜在空间中可视化(图7.a)。引人注目的是，潜在表征是按个体分组并可分离的。个体聚类在VAE得到的非线性潜空间中显著(图7.a)，而在PCA或ICA得到的线性潜空间中不显著(图7.b)。通过使用Silhouette指数来衡量个体的聚类程度，定量地证实了这种差别(图7.c)。VAE的Silhouette值(平均标准偏差:s=0.0570.003)显著高于PCA (s= 0.020±0.015)或ICA (s= 0.009±0.009)。使用潜在的中心表示作为subject-identifying特性,我们发现主体身份可以检索与合理精度高,潜在的代表被VAE提取,而线性表示的PCA和ICA失败了，几乎完全相同的任务(图7. d)。这些结果表明，在非线性潜在空间中，利用VAE来表征和揭示静息态活动的个体变化是可行的。
2.5 个体识别
从基于t-SNE的可视化(图7.a)中可以注意到，在个体方面的表示表现出不同的几何形状。有些比其他的更细长或分散。这一观察结果促使我们提出疑问，表征几何是否可能是一种个人特定的特征(或指纹)，以允许更准确的个人识别。具体来说，我们计算每一对潜在变量之间的协方差，并将其组合成一个向量作为表征几何的特征，并评估受试者内部或之间的两个sessions在这一特征上的相似性。以这种方式计算的表征几何可以解释为潜在变量之间的功能连通性(FC)。这种解释将这种方法与一种概念上类似的方法联系起来:基于连接体的指纹，其中评估了皮质分区之间的功能连通性。因此，我们评估了潜在空间或皮质空间FC在个体识别中的使用。

图7 潜表示的个体变异
如图8所示。a，任何一对皮层区域之间的FC大多为正，不仅在同一受试者内部(r=0.66)，而且在不同受试者之间(r=0.45)具有很高的可重复性。另一方面,FC潜变量之间既有正值又有负值,重现性高只在同一个个体(r = 0.41),但不同个体之间不会(r = 0.07)。当在潜在变量之间进行评估时，比在皮层区域进行评估时，FC剖面在不同受试者之间的差异更大(图8.b)。在潜在空间中，受试者内部的FC剖面比受试者之间的FC剖面更为一致。受试者内部相关的分布与受试者之间相关的分布几乎完全分离(图8b bottom)。
然后，我们比较了在隐空间和皮层空间FC轮廓的基础上的个体识别性能。从500例中识别1个,我们比较目标个体FC在第一次session(查询)对每个个体FC在第二session(钥匙)和选择之间的最佳匹配查询和钥匙的皮尔森相关系数。因此，如果与目标对象的相关性高于与任何非目标对象的最大相关性，则选择是正确的。我们发现，皮质空间的FC剖面可以支持69.3%的top-1准确率，而相对于决策边界，通常使用边缘置信度进行识别(图8.c)。在潜在空间中使用FC使我们达到了98.6%的top-1精度。正确识别的证据是明显的，与决策边界有很大的差距(图8.d)。在潜在空间中使用FC支持在越来越大的人群(图8.e)或当数据被限制在较短的持续时间(图8.f)时，在top-1识别中可靠和稳健的性能，明显优于在皮质空间中使用FC。
最后，我们探讨了表征几何(基于潜在变量之间协方差的概况)对于PCA、GIFT或MELODIC获得的线性潜在空间，是否会产生类似水平的个体差异。如图9所示，PCA或ICA(无论是GIFT还是MELODIC)都不如VAE有效。PCA、GIFT、MELODIC的个体识别准确率最高，分别为61.1%、50.2%、64.8%，VAE的准确率为98.6%。PCA或ICA (GIFT或MELODIC)线性表示的几何形状中，被试内部与被试之间的相似性呈现出很大的重叠分布，而VAE得到的非线性表示的几何形状中对应的分布几乎完全分离。

图8 基于潜变量之间相关性或皮层分区相关性的个体识别

图9 线型 vs 非线性表示的个体差异
3. 讨论
在这里，我们提出了一种皮层rsfMRI活动的无监督表征学习方法。我们的结果表明，该方法能够捕获和解开静息状态活动的生成因素，描述个体变异，并支持准确的个体识别。我们希望这种方法能够成为现有的静态网络及其动态特征的一个有价值的补充。
为了大脑活动的表示学习，我们设想一个可泛化的系统应该由一个基本模型加上附加模块组成。基础模型采用自监督学习或无监督学习和无任务静息态fMRI进行训练。因此，基本模型独立于任何特定目标，例如行为或疾病预测，或与感知、行动和认知相关的任何特定任务。训练之后，该基础模型预计将适用于不同任务条件下的fMRI数据，并能够支持不同的目标，不是直接由其本身，而是通过附加扩展。每个附加组件应该使用基于模型学习的表示，并通过监督学习来训练以达到目标。我们希望设计和训练具有深度架构的基础模型，以利用大量未标记的数据，而附加组件可以使用较少的标记数据，相对较浅且易于学习。这种策略可能会使系统更具可伸缩性，因为未标记数据比标记数据要丰富得多。为了支持一个新的目标或条件，基本模型不需要重新训练或从头开始重新设计，而是需要与一个新的可学习的附加组件(样本相对有限)配对。
在这个角度的上下文中，VAE是一个非常适合作为上述基本模型的初始部分的模型。
请注意，我们的主要目的不是推动更高的识别精度，而是理解数据表示在特征空间中的分布和几何形状。因此，我们选择最小的预处理和最简单的策略进行个体识别。方法学仍有发展的空间，以进一步提高识别的准确性，或将其扩展到许多其他任务，包括性别或疾病状态的分类，行为和认知表现的预测，举几个例子。我们期望这样的应用将是富有成果的，并对认知科学和临床应用有潜在的影响。
注：解读不易，请多多转发支持，您的每一次转发是对我们最好的支持！本文原文及附加材料，请添加赵老师微信索要（微信号：15560177218）