TSception：从EEG中捕获时间动态和空间不对称性用于情绪识别

**这是一篇代码复现，原文通过Pytorch实现，本文中使用Keras对该结构进行复现。**该论文发表在IEEE Transactions on Affective Computing，第一作者Yi Ding

摘要

高时间分辨率和不对称的空间激活是脑内情绪过程的基本特征。为了学习EEG的时间动态性和空间不对称性，以实现准确和广义的情感识别，Yi Ding等人提出了一种多尺度卷积神经网络TSception，可以从EEG中对情感进行分类。Tsception由动态时间、非对称空间和高级融合层组成，同时学习时间和信道维度的区分表示。动态时域层由多尺度1D卷积核组成，其长度与EEG的采样率相关，其学习EEG的动态时间和频率表示。非对称空间层利用情绪的非对称EEG模式，学习有区别的全局和半球表示。原文代码可在以下网址获得：https://github.com/yi-ding-cs/TSception，本文复现完整代码可在下面获得：https://github.com/ruix6/tsception

模型结构

关于模型结构的相关公式推理可以参考原文，本文不详细展开，下图是模型的具体结构：

熟悉经典深度学习模型的同学应该能一眼看出来TSception的设计灵感来自Inception模型。结合脑电信号的特点，TSception分四步实现对脑电信号的计算。

1. 多尺度时域卷积：第一步通过多个尺度的时域卷积核实现对EEG信号的分解与特征提取。多尺度的优势在于可以给模型提供多个不同的感受野，这对于脑电信号这种多源的复杂信号来说是十分合理的。作为对比，我们可以看一下EEGNet的结构，如下图，EEGNet的第一个部分也是一个一维时域卷积结构，但是由于单一的感受野，在很多任务中它很容易被低频部分的噪声所干扰，所以EEGNet在ERP或者SMR这种有效信息分布在低频段的任务比较友好，但是像情绪识别的话，该网络的原始结构似乎不能发挥其全部能量（改变其时域卷积核大小似乎能有效提升其能力）。
2. 不对称空间卷积层：模型的第二部分由两个尺度的卷积实现。大尺度的卷积层覆盖所有通道，小尺度的卷积层分可以分别卷积大脑左半球的通道和右半球的通道。前面提到过，不对称的空间激活（即受试者在不同的情绪状态下，大脑的左右半球的激活状态是不一样的，原文中分析了受试者的大脑激活状态，想进一步了解可以看看原文）是情绪的重要特征，所以通过小尺度的空间卷积可以进一步的抓住这些特征。
   
3. 高级融合层：该层为了进一步的融合输入的时空特征而设计，这个和EEGNet的可分离卷积层的效果是一样的，我更愿意称之为为了减小参数量而设计的🙂，这个卷积层的出现，其实使得模型的可解释性进一步降低。