45、上海大学：轻量级多特征神经网络M-FANet，用于MI-BCI解码

本文由上海大学机电工程与自动化学院于2024.1.9日发表于《IEEE Transactions on Neural Systems and Rehabilitation Engineering》(SCI中科院分区二区，IF：4.9)

论文链接：M-FANet: Multi-Feature Attention Convolutional Neural Network for Motor Imagery Decoding | IEEE Journals & Magazine | IEEE Xplore

研究背景：

运动意象(MI)解码方法是推进康复和运动控制研究的关键。基于脑机接口(BCI)的有限低信噪比脑电图(EEG)信号样本中频谱-时空特征的有效提取是MI解码的关键。本文提出了一种轻量级的多特征注意神经网络(M-FANet)，用于特征提取和多特征数据的选择。M-FANet采用几个独特的关注模块来消除频域冗余信息，增强局部空间特征提取和校准特征映射。引入正则化Dropout (R-Drop)训练方法来解决Dropout导致的训练-推理不一致问题，提高模型的泛化能力。我们在BCI竞赛IV 2a (bbic -IV-2a)数据集和2019年世界机器人大会竞赛-BCI机器人竞赛MI (wbbic -MI)数据集上进行了广泛的实验。M-FANet在bbic - iv -2a数据集上的4类分类准确率为79.28% (kappa: 0.7259)，在wbbic -MI数据集上的3类分类准确率为77.86% (kappa: 0.6650)，与现有的MI解码方法相比，M-FANet的性能更为优越。多特征关注模块和R-Drop在轻量化模型中的应用显著提高了其性能，并通过综合烧蚀实验和可视化验证了这一点。因此，本研究提出了Multi-Feature Attention Convolutional Neural Network(M-FANet)旨在提升MI的解码性能。

Model：

M-FANet设计了从频率、局部空间、特征图三个角度校准EEG相关信息的注意力模块。

本文的贡献总结如下：

•提出一种轻量级的多特征注意神经网络(M-FANet)，该网络通过从EEG信号中提取更广泛的特征，并使用多个注意模块来有效地利用它们来增强MI任务的分类性能。

•引入R-Drop作为一种模型训练方法来缓解过度拟合。

•使用BCI Competition IV 2a（BCIC-IV-2a）四类任务数据集和2019世界机器人大会竞赛-BCI机器人竞赛MI（WBCIC-MI）三类任务数据集进行实验，以评估所提出的M-FANet与最先进的MI解码方法的有效性和优越性。此外，还深入研究了R-Drop引入的正则化项对网络性能的影响。

模型结构：

在最先看到本文模型图之后，我就确认该模型是在EEGNet稳定的3个block基础上改进的，再看论文中所讲，果不其然：

0、Bandpass Filtering：

原始EEG样本X∈R **C×T，其中C为EEG通道数，T为时间点。使用Chebyshev Type II滤波器对原始EEG数据实现多个带通滤波器，其阻带纹波为-30dB，固定步长为L(此处设置为4Hz)。

1、Frequency Band Attention Module:

在MI的机器学习算法中，带通滤波器参数对解码结果有显著影响，这表明频域虽然充满了有价值的信息，但很难准确地提取出来。为了捕获频域内的相关信息，设计了基于注意机制的频带注意模块，实现了自适应频率滤波，来接受步骤0输出的带通频率数据

2、 Local Spatial Attention Module: 

根据神经科学对心肌梗死的先验知识，我们知道心肌梗死主要激活与运动相关的大脑区域，尤其是靠近电极C3, Cz和C4的区域。因此，在提取空间维度的特征时，不应将通道视为平等的，而应将重点放在与MI相关的领域。设计了局部空间注意模块，从局部电极群中提取有效的空间信息。局部空间卷积核大小（Ks，1），也就是因为该团队接了国自然项目，要搞心肌梗死的识别，这里先不完全使用全部的空间信息，只使用局部的相应的通道中的与心肌梗死有关的特征。

3、Temporal spatial convolution:

后接时空卷积，Conv2d+BN+深度卷积，提取时间、空间信息（融合了EEGNet的block1+block2）

4、 Feature Map Attention Module:

一个SENet块，SENet是在通道域中加⼊Attention最早的模型，我之前博客有讲的，这里不多说

5、SeparableConv2D：

最后使用深度可分离卷积对以上提取的各级别特征解码（EEGNet的bkock3原封不动）

6、Classification

结语：

在我看来本模型是EEGNet+SENet+CSP-Bandpass Filtering的融合，学习EEGNet并对其改进，还是大有可为的，至少发个SCI3、4区的不是问题。