010基于CNN-LSTM的EEG-fNIRS混合图像构建与分类-2022

 EEG-fNIRS-based hybrid image construction and classification using CNN-LSTM

社会技术系统中不断发展的人机交互和进步使得通过监测大脑状态来分析重要的人类因素，如脑力劳动、警觉、疲劳和压力，以实现最佳性能和人类安全是至关重要的。同样，在脑机接口(BCI)和神经障碍和运动障碍的闭环神经调节等领域，脑信号已经成为康复和辅助目的的首要目标。脑信号的复杂性、非平稳性和低信噪比给研究人员设计健壮可靠的BCI系统带来了巨大的挑战，以准确地检测实验室环境以外的大脑状态的有意义的变化。在混合环境中使用不同的神经成像模式来提高准确性，增加控制命令，并减少大脑活动检测所需的时间。功能近红外光谱(FNIRS)和脑电(EEG)分别以良好的空间分辨率和时间分辨率测量大脑的血液动力学和电活动。然而，在混合环境中，这两种模式都增强了BCI的输出性能，由于它们的采样率和通道数量之间的巨大差异，它们的数据兼容性仍然是实时BCI应用的挑战。传统的方法，如下采样和信道选择，在使两种模式兼容的同时会导致重要的信息丢失。在这项研究中，我们提出了一种新的基于递归图(RP)的时间分布式卷积神经网络和长短期记忆(CNN-LSTM)算法(CNN-LSTM)用于混合脑机接口应用中的fNIRS脑电信号的综合分类。获取的脑信号首先用RPS投影到非线性维度，然后馈入CNN提取基本特征，而不执行任何下采样。然后，使用LSTM学习时间特征和时间依赖关系来检测大脑活动。该模型的平均准确率分别为78.44%、86.24%和88.41%。最高准确率分别为85.9%、88.1%和92.4%。实验结果证实了基于RP的深度学习算法在成功的脑-机接口系统中的可行性。

脑机接口(BCI)已经成为残障人士不可或缺的要素。它们已成为新的医疗应用的组成部分