黄金主体是每个人:一个基于运动图像的脑机接口的主体传递神经网络

文章的主要贡献：

• 开发了一个新的框架来解决学科间可变性的问题。我们不是使用来自不同主题的大数据集来训练BCI，而是从一个黄金主题中搜索数据，并将该数据分发给其他用户，从而使大多数用户的数据可分类。
• 提出了一种主题传递神经网络(STNN)，它由两个部分组成:用于数据传递的生成器网络和基于cnn的分类网络。同时使用知觉损失和监督分类损失来训练网络。
• 通过自我注意(SA)机制，生成器模型更加关注最重要的分类领域，从而进一步提高了整体性能。 

方法论：

构建基于神经网络的分类器，识别脑电数据的时频空间特征。使用连续小波分析(CWT)提取特征，这是一种多模态非平稳时频分析工具，已广泛应用于生物信号和复杂的多模态系统，包括MI期间的脑电图数据 。利用CWT对预处理后的数据通道逐通道提取特征，并将提取的特征转换为频域图像。

研究表明，在MI任务中，7-13 Hz频段的能量下降，而13-30 Hz频段的能量在大脑皮层与想象运动行为有关的区域增加。因此，在7-30 Hz频段截取频域图像。 虽然2-3 s的窗宽已足够进行MI分类，但前人的研究表明，更广阔的窗宽为基于小波变换的脑电数据提供了更丰富的特征。当屏幕开始提示被试运动意象时，被试通常需要一定的反应时间，因此，在0.5-4.5 s的时间内对输出的图像进行裁剪，最终每次试验得到一幅图像。裁剪后的CWT图像尺寸为64 × 1000。考虑到时域特征和频域特征在脑电信号分类中都具有重要的作用，我们采用双线性插值将特征映射到大小为64 × 64的图像上。将预处理后得到的60个通道逐个提取出来，然后将60幅图像合并成一个三维矩阵。

受试者转移神经网络

假设黄金受试者的数据分布可以应用或转移到不能很好分类的数据。为此，我们构建了STNN，它由一个生成器fw和一个预先训练的CNN组成。生成器的目的是将输入数据的特征分布移动到更接近“黄金数据”(收集自黄金主题)的特征分布，CNN计算损失函数。loss函数监测感知损失(perception loss, LP)，即生成的数据与黄金数据的分布差异，让生成的数据学习黄金数据的特征，从而适应预先训练的CNN模型。该损失函数还监测二进制交叉熵(BCE)损失(LBCE)，以便通过CNN网络计算准确性。为了减少训练epoch的数量，我们在黄金数据上固定训练的CNN网络参数。

CNN分类器

从MI数据中提取特征后，得到一个64 × 64 × 60的特征矩阵，将其输入CNN分类器，其结构如图所示。卷积运算可以提取接收域的时频特征。我们使用了一个由四个二维卷积块和一个全连接块组成的多层CNN。每个卷积块的运算顺序为卷积→归一化→激活函数→dropout→归一化。输出层使用Sigmoid激活函数，其余隐藏层使用ELU激活函数，即使在输入为负时也提供输出，这使得激活函数更加健壮。为了减少过拟合，在卷积块中引入了“dropout”的可能性，加快了网络训练的速度，减少了对局部特征的依赖。由于输入数据处于时域和频域，这两个分量对于MI分类都很重要，所以第一卷积层是一个64通道的4 × 4卷积核，stride为2 × 2。在第二层和第三层，通道数为64个;卷积核是4 × 4, stride是4 × 4。连接到第三个卷积块的是一个完整的连接层，输出表示MI的类。 

Generator 

 我们使用卷积而不是池化层对网络进行采样。每个Conv Layer k (k = 1, 2, 3)对输入数据进行卷积，对输出数据进行归一化，依次应用ReLU激活函数。每个De-conv Layer k(其中k = 1, 2, 3)有两个步骤:首先对输入数据进行上采样和卷积，然后对输出数据进行归一化。除De-conv Layer 3使用Tanh激活功能外，其他模块均使用ReLU激活功能。Conv Layer 1和De-conv Layer 3使用9 × 9的卷积核，而其他所有层都使用2 × 2的卷积核。所有的卷积步长都设置为2。虽然输入和输出大小相同，但在我们的网络中，下采样和上采样有几个优点。第一个优点是使用全卷积层可以加速GPU计算。其次，下采样增加了有效感受野的大小，与未下采样时的2倍相比，每3 × 3卷积增加4倍有效野。这意味着在相同的层数下有更大的有效感受野。

上采样卷积包含一个SA模块，这个模块使生成的数据更适合CNN分类器。 

在模块中，输入数据通过两个1 × 1的卷积模块f(x)， g(x)。然后将乘以g(x)，通过Softmax激活函数得到每个点的权值为

SA模块的输出为(o1, o2，…， oj，…∈，其中C表示通道数，N表示来自前一隐含层的特征数: 

其中∈, ∈通过1 × 1的卷积来获取权值。使用1 × 1卷积，信道数从C减少到C/k。由于减少信道数似乎不会影响性能，我们在实验中选择k = 8。 最后，将SA模块的输出乘以一个缩放参数，并将其添加回输入的特征图中。因此，最终输出 = γ+，其中γ是一个可学习标量，初始值设为0。这个标量允许网络依赖于局部邻域中的线索，从而使更适合分类的特征部分获得更大的权重。这样，我们的网络设计使生成的数据尽可能地适应于预先训练的CNN模型。

Loss function and implementation details 

 STNN模型是一种端到端架构。因此，可以通过反向传播算法来学习参数。假设训练数据集有T个样本，我们提出的损失函数由两部分组成:

1. MI分类任务的BCELoss定义为

2. 感知损失被定义为

式中Di表示该特征在CNN中经过第i个Conv层的输出。知觉丢失被设计用来提取高层次的知觉和语义特征。不依赖于标签，而只依赖于黄金和生成的数据。感知损失函数寻求最小化两类数据分布的差异。 然而，感知损失并不鼓励generator network yˆ= (x)的输出来匹配黄金数据y。相反，CNN网络计算两个数据集之间的相似度。使用感知丢失的目的是让生成的特征在不同尺度上与黄金被试者的特征相匹配，使生成的特征在内容上近似黄金被试者的特征。

因此，STNN的总损失为

Experiment and results 

在每个会话中采用k -fold交叉验证，即将试验随机分成k个大小相等的部分，k个部分中的一个部分作为验证集，其余的k - 1部分作为训练集。交叉验证过程重复k次，以k模型验证的分类精度平均值作为最终精度。为了避免过拟合和欠拟合，我们选择k = 10，从而得到可靠的最终结果。 

总体而言，本文提出的STNN极大地提高了许多MI受试者的脑电数据分类的准确性，特别是BCI文盲，他们占大多数，被认为不适合BCI。STNN将罕见“黄金受试者”的易分类数据应用于分类差的数据，使生成的数据能够适应分类器，降低脑电采集设备的使用难度。 

Why the generator works

实验表明，生成器模型能够重构连续小波变换特征提取后的脑电信号时频特征，具有较强的抗干扰能力。 有趣的是，生成的特征在所有的分类器上并不一定比原始的特征表现得更好，但是生成的特征分布更适合预训练的分类器（CNN classifier）。

在训练STNN模型的整个过程中，分类器不进行训练。我们的结果表明黄金主题可以表现出很好的分类性能，我们的生成器的目的是生成与黄金主题分布相似的特征分布，从而达到将新生成的特征适应于分类网络的目的。输入特征以4 × 4 × 128的尺寸进行编码。在解码过程中，对每一层进行上采样，然后SA模块对生成的特征进行重新校准，增加适合分类的特征的权重，减少不适合分类的特征的权重。这种重新校准包括换位、倍增和激励。

How to select the golden subject 

 我们将黄金主题的概念定义为数据在BCI分类任务中表现良好的人。这组数据需要在不同的分类器上取得优异的结果，而不仅仅是在我们提出的某个分类器上。特定的分类器对BCI数据的某些特征非常敏感，但这些特征不一定对传输有影响。当一组数据在各种不同的分类器上显示出更好的结果时，这表明该数据具有极高的质量，可以推广到其他受试者的数据，以提高他们的分类。通过5个对比分类器(FBCSP、SGRM、CNN- sae、EEGNet和CNN)对所有受试者的分类精度如图6所示。据观察，第17名受试者在不同分类器中表现最好。被试17不仅平均准确率显著高于其他被试，而且在不同分类器之间的表现差异也较小，说明被试17的数据是稳定的。因此，我们选择了17号被试作为本文的黄金课题。

address of  paper：

Golden subject is everyone: A subject transfer neural network for motor imagery-based brain computer interfaces-All Databases (webofscience.com)https://www.webofscience.com/wos/alldb/full-record/WOS:000792692200007