迁移学习 - 基于EEG的情绪识别

迁移学习 - 基于EEG的情绪识别

挑战

目前，基于EEG的情绪识别主要存在两个挑战，1）排除个体差异：建立一个对于个体差异泛化能力强的模型；2）对噪声标签的学习：训练一个可靠且稳定的模型不是那么依赖于被试的反馈

迁移学习

近年来，迁移学习的方法被用来缓解EEG信号的个体差异，对于有无标签的个体（称为源域和目标域），迁移学习的方法是为了最小化源域和目标域的差异，尽可能满足独立同分布的假设，然后在目标域上实现一个更好的识别效果。

通过一个域偏移（domain-shifting）策略，学到了不同域的不变特征，并对特征间的联系、数据分布和标签进行探索
比如，Li et al. [5]提出了一种双学习阶段多源迁移学习方法。在第一阶段，从已有源域中选出适合的样本；在第二阶段，实现了一种迁移映射（style transfer mapping）来缓解选出的样本和未知目标样本间的差异。受神经科学启发，不同情绪会导致不同的大脑反应，Li et al. [6]提出了R2G-STNN，它整合了局部和全局脑区的EEG时空动态，结合域偏移学习实现了一种高效的情绪识别性能。

对于视频诱发EEG情绪的实验，被试并不总是能准确产生相应的情绪，这就会产生噪声标签，从而影响模型性能。为了解决这个问题，Zhong et al. [8]开发了一种emotion-aware的分布式学习方法（RGNN），他们模糊了标签信息，标签利用$(1-\frac{2\epsilon }{3},\frac{2\epsilon }{3},0)$ 取代了独热编码$(1,0,0)$来表示，这样训练模型会更少地受噪声标签的影响。
但是模型的性能会极大地受$\epsilon$值的影响，而最优的$\epsilon$值会因不同的数据库和个体而不同。当前的基于EEG的情绪识别模型主要是基于 pointwise learning， 这非常需要准确的标签数据。

已有的基于EEG情绪识别迁移学习模型可以分为两大类：

a）非深度的迁移学习模型。

Pan et al. [14]提出了一种迁移成分分析（TCA：transfer component analysis）算法来减少源域和目标域的边缘分布差异，TCA算法在再生核希尔伯特空间（reproducing kernel Hilbert space）中通过最大化均差（maximizing mean discrepancy）来学习到迁移信息
Zheng and Lu [15] 引入了两种跨被试的迁移方法来解决EEG信号处理中的个体差异。一种是在源域和目标域利用TCA和KPCA探索共同特征空间；另一种是在源域上构建多个个性化分类器，并利用TPT（transductive parameter transfer）将分类器参数映射到目标域。这些非深度的迁移学习模型能够减小源域和目标域的差异并提高了在目标域上的性能
然而，由于其能力小且复杂度低，并不能满足情感脑机接口（aBCI）实际应用上的需求。

b）深度迁移模型。

大多数已有的情感模型都是基于[16].所提出的DANN（domain-adversarial neural network）域对抗深度迁移方法，它发现了一种源域和目标域共有的特征表示，在分布上差异小，同时保持对特定分类任务源样本上特征的预测能力。Li et al. [17]首次将DANN用到aBCI。得益于深度网络的特征表示能力和对抗学习在分布式自适应上的高性能，基于DANN的aBCI系统优于别的方法。

接下来的aBCI系统可以看成是基于DANN的一系列模型，通过两个方向来提升性能：

1）结合神经科学和脑解剖学的先验知识。

受神经科学的启发，在情绪响应中大脑左右半球具有不对称特性，Y ang et al. [18] 提出了一种两半球域对抗网络（BiDANN），它设计了一个全局和两个局部域辨别器来学习每个与情绪感知相关大脑半球的可分特征，改善了对不同域差异的特征的稳定性。考虑到不同脑区产生不同的情绪反应
Y ang et al. [6]提出了一种R2G-STNN (regional to global-spatial-temporal neural network) 来结合重要性指导和层次特征表示下局部和全局的脑区时空信息
类似地，假设所有的通道在情绪识别中不是同等重要，Du et al. [19] 结合注意力机制、LSTM和DANN提出了ATDD-LSTM（attention-based LSTM with domain discriminator），它描述了数据驱动方法中不同EEG通道的非线性联系并且最优化选择有益的情绪相关通道

2）结合概率分布。

为了解决DANN的训练上的不稳定性，Luo et al. [20] 提出了 WGAN-GP（Wasserstein generative adversarial network with gradient penalty）来减小不同被试间边缘概率分布的距离
然而，当前基于DANN的方法只考虑到不同域间边缘分布的差异而忽视了联合分布上的差异，为了解决这个问题，Li et al. [21] 提出了JLNN（joint domain adaptation network），这是利用JDA（joint distribution adaptation）结合 task-invariant features (MDA) 和 task-specific features (CDA)
虽然已经得到了较高的准确率，但是仍然有三个技术上的挑战。1）学习到的特征表示容易受到源域和目标域的噪声干扰，进而影响模型的泛化能力。2）现有模型只关注源域的特征可分性，而忽略了目标域上的特征可分性。现有基于DANN的模型主要考虑了源域上的情绪分类损失，这会导致在源域数据上的过拟合而减小了目标域数据上分类能力。3）现有算法在很大程度上依赖于大量有标签的源域数据。然而，在实际的EEG应用中，很难为每一次EEG试验收集准确的标签。

Reference

[1] Zhou, Rushuang, Zhiguo Zhang, Xin Yang, Hong Fu, Li Zhang, Linling Li, G. Huang, Yining Dong, Fali Li and Zhen Liang. “A Novel Transfer Learning Framework with Prototypical Representation based Pairwise Learning for Cross-Subject Cross-Session EEG-Based Emotion Recognition.” ArXiv abs/2202.06509 (2022): n. pag.
[5] J. Li, S. Qiu, Y .-Y . Shen, C.-L. Liu, and H. He, “Multisource transfer learning for cross-subject eeg emotion recognition,” IEEE transactions on cybernetics, vol. 50, no. 7, pp. 3281–3293, 2019.
[6] Y . Li, W. Zheng, L. Wang, Y . Zong, and Z. Cui, “From regional to global brain: A novel hierarchical spatial-temporal neural network model for eeg emotion recognition,” IEEE Transactions on Affective Computing, 2019.
[8] P . Zhong, D. Wang, and C. Miao, “Eeg-based emotion recognition using regularized graph neural networks,” IEEE Transactions on Affective Computing, 2020.
[14] S. J. Pan, I. W. Tsang, J. T. Kwok, and Q. Yang, “Domain adaptation via transfer component analysis,” IEEE Transactions on Neural Networks, vol. 22, no. 2, pp. 199–210, 2011.
[15] W.-L. Zheng and B.-L. Lu, “Personalizing eeg-based affective models with transfer learning,” in Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, ser. IJCAI’16. AAAI Press, 2016, p. 2732–2738.
[16] Y . Ganin, E. Ustinova, H. Ajakan, P . Germain, H. Larochelle, F. Laviolette, M. Marchand, and V . Lempitsky, “Domain-adversarial training of neural networks,” The journal of machine learning research, vol. 17, no. 1, pp. 2096–2030, 2016.
[17] H. Li, Y .-M. Jin, W.-L. Zheng, and B.-L. Lu, “Cross-subject emotion recognition using deep adaptation networks,” in Neural Information Processing, L. Cheng, A. C. S. Leung, and S. Ozawa, Eds. Cham: Springer International Publishing, 2018, pp. 403–413.
[18] Y . Li, W. Zheng, Y . Zong, Z. Cui, T. Zhang, and X. Zhou, “A bihemisphere domain adversarial neural network model for eeg emotion recognition,” IEEE Transactions on Affective Computing, 2018.
[19] X. Du, C. Ma, G. Zhang, J. Li, Y .-K. Lai, G. Zhao, X. Deng, Y .-J. Liu, and H. Wang, “An efficient lstm network for emotion recognition from multichannel eeg signals,” IEEE Transactions on Affective Computing, pp. 1–1, 2020.
[20] Y . Luo, S. Y . Zhang, W. L. Zheng, and B. L. Lu, “Wgan domain adaptation for eeg-based emotion recognition,” International Conference on Neural Information Processing, 2018.
[21] J. Li, S. Qiu, C. Du, Y . Wang, and H. He, “Domain adaptation for eeg emotion recognition based on latent representation similarity,” IEEE Transactions on Cognitive and Developmental Systems, vol. 12, no. 2, pp. 344–353, 2020.