拓扑感知多模态融合在神经动态表征学习和分类中的应用

摘要

近年来，脑电图(EEG)和近红外光谱(fNIRS)等多模态神经成像技术在脑机接口(BCI)和神经病理诊断中的应用得到了广泛应用。如下图顶部所示，大多数现有方法假设观察结果为独立同分布(i.i.d.)，但忽略了个体之间的差异。在融合BCI信号进行判别特征学习的同时，对受试者组进行建模以保持拓扑信息是一项具有挑战性的工作。本文介绍了一种基于拓扑感知图的多模态融合(TaGMF)框架来对肌萎缩侧索硬化症(ALS)和健康个体进行分类，如下图底部所示。本研究框架基于图神经网络(GNN)，但具有两个独特之处。首先，根据个体间、个体内和组间关系，提出了一种新的拓扑感知图(TaG)来对受试者组进行建模。其次，每个受试者的EEG和fNIRS信号的学习表征允许在TaGMF优化的同时探索不同的融合策略。本研究分析证明了基于图的融合方法在多模态分类中的有效性，与传统方法相比，其性能提升了22.6%。

图形摘要

前言

研究人员一直在积极探索多种测量方法，以支持有效解码神经活动，从而改善BCI系统，并开发了多种技术(如脑电图(EEG)和功能性近红外光谱(fNIRS))来研究大脑信号。大多数研究进行的是单模态探索，使用EEG或fNIRS来学习和检测神经反应。然而，由于技术限制和大脑神经处理的复杂性，这些模态各自捕获的大脑功能信息是有限的。

近年来，多模态融合技术在BCI和神经病理诊断等领域得到了广泛应用。在这方面，整合EEG和fNIRS信号提供了两种经济有效的信息来源：分别来自EEG脑电活动和fNIRS脑血流动力学反应。早期使用EEG-fNIRS融合进行分类的研究表明，其性能优于单模态。这些融合方法通常遵循独立同分布(i.i.d.)假设，并使用决策级或特征级融合策略来集成特征并对观测值进行分类。

近期的探索开辟了使用基于图形的方法对大脑信号进行建模的新领域，这些方法在分析、分类和解释神经系统疾病，以及在阿尔茨海默氏症、自闭症、抑郁症和焦虑症等疾病预测方面取得了令人满意的结果。此外，大脑信号可以根据区域连接性用图来表示大脑反应中的潜在网络。图可以在较大群体中表示为拓扑结构，其中节点(即个体)根据其相似性进行连接，或者作为抑郁症检测等已知挑战的知识基础。虽然基于图的模型通过区域连接提供了对神经动态的见解，但本研究侧重于使用图神经网络(GNN)对EEG和fNIRS信号进行端到端表征学习框架。这一决定源于fNIRS中功能连接解释的挑战，由于脑外血流动力学相互作用可能会混淆真正的神经活动，特别是在没有短通道来减轻这些效应的情况下。通过整合EEG和fNIRS数据进行表征学习，可以利用这些模态的互补优势，从而促进神经影像研究中功能连接方法的新进展。

作为对之前工作的延伸，本研究还探索了基于图引导的BCI融合，用于被试组(即健康/患者)及其分类。图中的局部平滑假设使我们能够对非独立同分布的不同个体和群体进行表征学习。该框架基于图神经网络(GNN)进行表征学习，同时可以通过各种分类器来验证学习到的特征。GNN方法通常将节点特征及其交互视为边，以聚合局部邻域上的节点特征并逐层追求最优表征。GNN的有效性取决于准确反映图中个体和观测值之间的拓扑结构。假设每个受试者有多个观测值，在构建GNN图时，将考虑几种不同的关系，包括个体间、个体内和组间关系。具体而言，个体内关系表明同一受试者的观测值之间存在强相关性。然而，据所知，这些概念在先前的研究中尚未得到彻底探索。

本研究将模态整合和跨被试信息结合在一个框架内。这种双重方法背后的动机源于本研究的目标，即开发一种全面的策略，不仅增强多模态神经影像数据的整合，而且解决不同被试之间固有的变异性和分布差异——这是神经科学研究中的常见挑战。这种整合可以更全面地提高分类和表征学习性能，不仅利用了多模态的互补信息，同时考虑到了个体数据的独特特征。

为此，本文提出了基于拓扑感知图的多模态融合(TaGMF)，这是一种用于特征提取的可学习GNN模型。与现有的研究相比，TaGMF通过探索超出单一主体神经动态建模范围网络上的主体关系，以追求更好的表征，同时网络优化的是不同级别的单模态和多模态融合策略，以考虑来自个体的多模态数据。特别是，本研究考察了两种融合策略，即早期融合和晚期融合，并将它们与分类任务中的单模态数据进行比较。为了更好地展示TaGMF方法，本研究广泛评估了从健康对照组(HC)和肌萎缩侧索硬化症(ALS)受试者收集的EEG和fNIRS数据。

方法

图1展示了TaGMF方法，将EEG和fNIRS数据集成到多模态图形表征中。左侧表示EEG和fNIRS脑信号的采集以及随后的特征提取过程。中间部分描述了具有三种类型边的图结构：(i)个体内部的边连接的是同一个体内的观测值；(ii)个体间的边连接的是不同个体，以深入了解个体之间的共享模式；(iii)组间的边连接的是健康组和患者组的受试者。TaGMF利用图结构来提取有意义的特征，这些特征用于学习下游分类任务所必需的判别模式。

图1.TaGMF框架概览。

A.数据分析

1)参