论文 : Multi-Channel EEG Based Emotion Recognition Using TCN&BLS

Multi-Channel EEG Based Emotion Recognition Using Temporal Convolutional Network and Broad Learning System

• 本文设计了一种基于多通道脑电信号的端到端情绪识别模型——时域卷积广义学习系统(TCBLS)。
• TCBLS以一维脑电信号为输入，自动提取脑电信号的情绪相关特征。在该模型中，设计了时间卷积网络(TCN)同时提取EEG时间特征和深度抽象特征，然后使用广义学习系统(BLS)将特征映射到更具辨识性的空间，进一步增强特征。

INTRODUCTION

• 生理信号
  • 心电图(ECG)、皮肤阻力(SR)、脉搏率等生理信号属于体外，并非由大脑直接引起，因此难以快速准确地反映情绪变化。
  • 脑电图(EEG)信号从大脑直接传来。
• EEG特征
  • 一些统计特征如均值、方差、一阶差分、二阶差分等可以反映时间序列中脑电图信号的特征。
  • 利用分形维谱、非平稳指数等非线性特征，可以更好地了解脑电图的非线性特性。
  • 功率谱是脑电图振荡动力学、中常用的表征扰动的特征。
  • 差分熵(DE)特征
  • 时频域特征，通常采用小波变换(WT)、傅里叶变换(FT)等方法提取。在提取特征后，使用一些机器学习分类器来识别情绪，如支持向量机(SVM)、k -近邻(KNN)、随机森林(RF)、线性判别分析(LDA)等。
• 一些研究人员使用基于深度学习的方法进行EEG情绪识别，并获得了具有竞争力的表现。然而，许多基于深度学习的方法仍然需要复杂的预处理或额外的特征提取，这使得难以实现端到端学习。
• 时域卷积网络(Temporal Convolutional Network, TCN)
  • 序列建模的有效方法。
• 广义学习系统(BLS)
  • 一种平面网络，将输入映射到特征节点，将映射的特征增强到增强节点。
• 受TCN的序列建模能力和BLS的随机映射能力的启发，设计了一个端到端的情感识别模型——时域卷积广义学习系统(TCBLS)。

PRELIMINARIES

Temporal Convolutional Network (TCN)

• RNN与CNN相比有一定的局限性。为了解决这一问题，提出了时域卷积网络(TCN)。TCN是一种结合了简单卷积结构的序列模型。一个通用的TCN结构包含三个主要部分，即因果卷积、扩张卷积和剩余连接。

因果卷积(Causal Convolutions)

• 因果卷积确保序列任务中的未来信息不会泄露给过去。
• 在因果卷积中，$t$时刻的输出只与$t$时刻及更早前一层的元素相关。它的表现形式如下:
  
• 其中$n$为层数，$T$为时间窗口长度，$conv$为卷积运算

扩张卷积

• TCN中的扩张卷积旨在提高从过去学习信息的能力。在层数相同的情况下，扩张因果卷积比普通因果卷积具有更大的接受域。$1-D$扩张卷积运算定义为:
  
• 其中$f(\cdot )$为输入，$g(\cdot )$为扩张卷积的输出，$h(l)$为长度$k$的滤波器，$d$为扩张因子，$x-d\cdot l$表示元素$x$的过去方向。图(a)显示了一个扩张随卷积的例子，其核大小为$k=2$，扩张因子$d=1,2,4$。在正则卷积中，$d=1$。

残差连接(Residual Connections)

• 残差块包含一个分支，该分支通向一系列转换。它可以定义为:
  
• 其中$x$是输入，$\psi$是激活函数。残差连接已被证明在深度网络上是有效的。(b)为TCN的残块。该残差块包含两个扩展的随意卷积层，并在卷积滤波器上使用权重归一化。然后采用整流线性单元(ReLU)进行非线性处理，加入dropout进行正则化处理。

Broad Learning System (BLS)

• BLS将输入随机映射到特征节点，然后将映射的特征随机扩展到增强节点。之后，映射的特征和增强的特征连接到输出。
• 此外，增量学习算法是在BLS中开发的，因此当添加特征节点、增强节点或新的输入数据时，模型不需要从头开始重新训练。

TCBLS FOR EEG EMOTION RECOGNITION

• EEG是由放置在头皮上的电极收集的时间序列信号，具有较高的时间分辨率。因此，时间信息对情绪识别很重要。
• 在本文中，设计了一个结合TCN和BLS的模型来学习EEG的情绪相关特征并识别情绪状态。该模型利用TCN同时提取EEG时间特征和深度抽象特征，利用BLS将特征映射到更具辨识性的空间，进一步增强情感特征。
• 该模型可以实现从一维多通道脑电图信号到情绪状态的端到端学习。

Pre-processing

• 在采集视频刺激下的脑电图信号之前，通常采用短时间的无刺激采集基线信号。为了提高识别精度，采用去除基线信号的方法进行预处理，即将视频刺激下的脑电图信号与基线信号的差值作为TCBLS的输入。该步骤如下所示:
  
• 其中$I$是通道数，$c$是通道总数。

Temporal Convolutional Broad Learning System (TCBLS)

• 时域卷积广义学习系统(TCBLS)的框架如图所示。该模型以一维多通道脑电图数据为输入，采用深度和广度相结合的方法自动提取情绪相关特征。
• 结合TCN的序列建模能力和BLS的随机映射能力，分别提取和增强脑电信号特征。
• TCN堆栈4个残差块，每个残差块包含2个扩展的随意卷积层。可以用下面的公式来计算感受野的大小:
  
• 其中$L$为扩张卷积层总数，$k_i$为第$i$个扩张卷积层的核大小，$d_i$为第$i$层的扩张因子。为了尽可能完整地提取EEG样本的时间特征，我们使模型的感受野尽可能地覆盖样本。

EXPERIMENTS AND RESULTS

Description of Dataset

• 在本文中，使用DEAP数据库来评估。

Settings of Experiments

• 一些参数设置

Results

并与近年来的其他方法进行了比较。我们选择与我们实验设置相似的文献进行比较，即所有文献都使用了DEAP数据库和主题依赖实验方法。

Yin等[26]提出了一种基于多融合层的集成堆叠自编码器(MESAE)分类器，以去除不必要的噪声和学习特征表示。他们将特征划分为几个子集，并用SAE分别对它们进行编码。Li等[10]采用离散小波变换(DWT)将脑电图划分为4个频段，提取熵和能量特征并用k -最近邻分类器进行分类。Yang et al[13]根据信道位置将四个频段的微分熵(DE)特征映射为维数为9×9×4的三维立方体，然后采用CNN对情绪进行分类。Yang等[14]将1D脑电图转换为2D脑电图帧，然后结合CNN和LSTM分别提取时空特征。Ozdemir等[27]利用方位等距投影(azthal equidistance Projection, AEP)技术将脑电图信号转换为二维脑电图图像，然后利用CNN进行分类。在实验中，我们也建立了TCN模型，并与TCBLS进行了比较。TCN的参数与TCBLS的参数相同，只是将BLS替换为全连通层。
图3显示了我们的方法与其他文献相比的性能。从图3可以看出，本文算法的性能优于对比方法，TCBLS的结果比最新文献的结果提高了3个百分点，在价态上达到99.5755%的平均精度，在唤醒上达到99.5781%的平均精度。此外，TCBLS的平均准确率比TCN高2个百分点，这反映了BLS对提高性能的积极意义。结果表明TCBLS在基于eeg的情绪识别中的有效性和鲁棒性。

CONCLUSION

• 本文将深度网络和广义网络相结合，设计了一种基于多通道脑电信号的端到端情绪识别模型——时序卷积广义学习系统(TCBLS)。
• TCBLS以一维多通道EEG数据为输入，通过TCN同时提取EEG的时间特征和深度抽象特征，再通过BLS进一步增强特征。