（DEAP）基于通道注意力机制与自注意力机制的情绪识别（有代码）

摘要部分

本文提出了一种基于注意力的卷积递归神经网络（ACRNN），从脑电信号中提取更多的区别特征，提高情感识别的准确性。

（1）首先，建议ACRNN采用通道式注意力机制自适应分配不同通道的权重，并采用CNN提取编码的EEG信号的空间信息。

（2）然后，为了挖掘脑电信号的时间信息，将扩展的自注意力引入到RNN中，根据脑电信号的内在相似性对脑电信号的重要性进行编码。

（3）作者在两个数据集上进行实验证明了所提出的算法的优越性（DEAP，DREAMER），在DEAP数据集效价（valence）与唤醒(Arousal)平均准确率可达92.74%和93.14%。在DREAMER数据集上的准确率可达97.79%，97.98%。

2.实验部分

             图1：网络实验的整体概述

2.1所提出的方法：

目前，大多数基于脑电信号的情绪识别研究都是先提取相关特征，然后利用提取的特征对被试的情绪状态进行分类。在实际应用中，原始脑电信号包含丰富的空间和时间信息，可以提取这些信息来识别主体的情绪状态。所提出的ACRNN是一种数据驱动的方法，它同时将通道注意力机制和扩展的自注意力机制集成到CNN-RNN中。此外，ACRNN可以提取空间和时间信息作为情感特征，并使用softmax函数对提取的特征进行分类。因此，这种端到端的技术（也就是输入给网络的是原始数据，由网络对原始数据进行特征提取）提高了基于EEG的情感识别的准确性。

首先，我们将EEG样本分为训练样本和测试样本。然后，分别通过去除基线信号对训练样本和测试样本进行预处理。此外，使用切片窗口技术对标签进行预处理。接下来，我们使用训练样本来训练所提出的ACRNN模型，计算交叉熵损失并使用Adam优化器更新网络参数。最后，利用训练好的模型对测试样本的情绪状态进行识别，以分类准确率作为最终的识别结果。

基于注意力的卷积递归神经网络的结构图

 结果：

 

 在本文中作者使用tensorflow框架实现的，然后我按照作者的方法又用pytorch框架进行了复现，结果与作者的结果一致。

class ACRNN(nn.Module):
    def __init__(self,input_height):
        super(ACRNN,self).__init__()
        self.H = 1
        self.W = 128
    
        self.reduce = 15
        self.channel_wise_attention = channel_wise_attention(self.H,self.W,self.C,self.reduce)
        self.output_channel = 40
        self.kernel_height = 32
        self.kernel_width = 40
        self.kernel_stride = 1
        self.pooling_height = 1
 
        self.cnn = CNN(self.H,self.C,self.W,self.kernel_height,self.kernel_width,self.kernel_stride,self.pooling_height,self.pooling_width,self.pooling_stride,self.output_channel)
        self.hidden_dim = 64
        self.lstm = LSTM(self.hidden_dim)
        self.hidden = 512
        self.self_attention = self_attention(self.hidden_dim,self.hidden)
        self.num_labels = 2
        self.softmax = nn.Sequential(
            nn.Linear(self.hidden_dim,self.num_labels),
            nn.Softmax(dim=1)
        )
    def forward(self,x):
        x_map, x_ca = self.channel_wise_attention(x)
        x_cn = self.cnn(x_ca)
        x_rn, x_c = self.lstm(x_cn)
        x_sa = self.self_attention(x_rn)
        x_sm = self.softmax(x_sa)
        return x_sm