基于主体自适应脑电图的视觉识别的主体间对比学习（Note）

本文链接：https://blog.csdn.net/m0_65152571/article/details/132161601

文章的目标是在训练过程中，基于少量样本的脑电信号准确地预测目标对象的视觉刺激类别。关键的挑战是如何将从源主体的丰富数据中获得的知识适当地转移到目标主体的分类。

方法论：通过增加来自不同主体但共享同一类的特征的相似度，来允许学习主体独立的表示。通过专门的抽样策略，模型将有效地捕获不同主体（受试者）之间共享的共同知识，从而实现良好分类。

训练大致流程图：

图中可以看出预训练过程利用源域的大量数据和目标域的少量数据实现模型的训练，以此训练后的模型实现对目标域的脑电信号分类。值得强调的是，本文提出利用对比学习来实现学习主体独立表征，并设计了一种新的正/负抽样策略。

文章中提到的主要贡献：

提出了主体间的对比损失，允许跨主体学习共同知识的主体自适应脑电图视觉识别。
发现了对比学习抽样的不足之处，并设计了一种新的抽样方法，以适应主体独立的特征学习。

准备工作：

训练集包含目标被试的少量样本和源域的大量数据。设Dtrain = Dsrc∪Dtrg为整个训练集，其中Dsrc和Dtrg分别表示源域和目标域的数据集；这里注意源域中包含多个受试者的数据（S为受试者总数，j表示第j个受试者）其中，目标被试的那一小部分数据集远小于源域中某一个受试的数据集。

文章所提对比学习例证：

实践中，构造了平衡的样本批来进行稳定模型训练，而不是利用训练集中的随机样本批。具体来说，为每个被试对象随机抽取N个样本，包括源和目标，这些样本构成单个批次B。其中|B| = (S+1)N。注意，目标数据集可能没有足够的样本，即|Dtrg| < N。在这种情况下，复制它们来模拟总共N个样本（过采样）。本文在参考其他文献的基础上，构建了一个由序列编码器f和嵌入层g和分类器h组成的模型，其中序列编码器f(·)是用于时间建模的单层门控循环单元(GRU)，而嵌入层g(·)和分类器h(·)是具有激活函数的全连接层(FC)。

目标函数：利用两个损失函数进行模型训练，即分类损失和主体间对比损失。前者用于分类任务，而后者是文中提出的主题独立的特征学习。

分类损失采用常规的交叉熵损失：

被试之间的对比损失：让模型学习不同被试之间不变的特征表示

由于受试者内差异较小，损失值容易被同一受试者获得的阳性样本占主导地位
将不同被试的负样本从锚点中推开，增加了不同被试之间的特征差异，从而阻碍了被试独立的特征学习

针对以上两个方面的不适用于受试者独立的特征学习的特点，文章提出的抽样策略，在构建锚集时忽略了这些样本，因此，正样本和负样本是根据它们与锚点是否具有相同的类别来决定的。

总损失函数包含两部分：分类损失 + 对比损失

实验中使用了EEG-ImageNet40数据集（该方法采集了1名女性和5名男性6名被试的128通道持续时间为440 ms的脑电图信号），接着使用陷波滤波器(49-51Hz)和带通滤波器(14-72hz)对EEG信号进行滤波。按照官方数据集贡献者提供的4:1:1的比例进行训练：验证：测试；遵循官方的6次分割进行实验，并报告所有分割结果的平均值和标准差。

文中的实验结果相比传统的对比学习抽样方法确实有所提高，针对对比学习传统的抽样方法的不足，提出了对比损失这一概念并引入到损失函数中达到提高分类性能的效果。

文章地址：Inter-subject Contrastive Learning for Subject Adaptive EEG-based Visual Recognition2202.02901v1.pdf (arxiv.org)https://arxiv.org/pdf/2202.02901v1.pdf