(DEAP)基于通道注意力机制与自注意力机制的情绪识别(有代码)

摘要部分

本文提出了一种基于注意力的卷积递归神经网络(ACRNN),从脑电信号中提取更多的区别特征,提高情感识别的准确性。

(1)首先,建议ACRNN采用通道式注意力机制自适应分配不同通道的权重,并采用CNN提取编码的EEG信号的空间信息。

(2)然后,为了挖掘脑电信号的时间信息,将扩展的自注意力引入到RNN中,根据脑电信号的内在相似性对脑电信号的重要性进行编码。

(3)作者在两个数据集上进行实验证明了所提出的算法的优越性(DEAP,DREAMER),在DEAP数据集效价(valence)与唤醒(Arousal)平均准确率可达92.74%和93.14%。在DREAMER数据集上的准确率可达97.79%,97.98%。

2.实验部分

             图1:网络实验的整体概述

2.1所提出的方法:

目前,大多数基于脑电信号的情绪识别研究都是先提取相关特征,然后利用提取的特征对被试的情绪状态进行分类。在实际应用中,原始脑电信号包含丰富的空间和时间信息,可以提取这些信息来识别主体的情绪状态。所提出的ACRNN是一种数据驱动的方法,它同时将通道注意力机制和扩展的自注意力机制集成到CNN-RNN中。此外,ACRNN可以提取空间和时间信息作为情感特征,并使用softmax函数对提取的特征进行分类。因此,这种端到端的技术也就是输入给网络的是原始数据,由网络对原始数据进行特征提取)提高了基于EEG的情感识别的准确性。

首先,我们将EEG样本分为训练样本测试样本。然后,分别通过去除基线信号对训练样本和测试样本进行预处理。此外,使用切片窗口技术对标签进行预处理。接下来,我们使用训练样本来训练所提出的ACRNN模型,计算交叉熵损失并使用Adam优化器更新网络参数。最后,利用训练好的模型对测试样本的情绪状态进行识别,以分类准确率作为最终的识别结果。

基于注意力的卷积递归神经网络的结构图

 结果:

 

 在本文中作者使用tensorflow框架实现的,然后我按照作者的方法又用pytorch框架进行了复现,结果与作者的结果一致。

class ACRNN(nn.Module):
    def __init__(self,input_height):
        super(ACRNN,self).__init__()
        self.H = 1
        self.W = 128
    
        self.reduce = 15
        self.channel_wise_attention = channel_wise_attention(self.H,self.W,self.C,self.reduce)
        self.output_channel = 40
        self.kernel_height = 32
        self.kernel_width = 40
        self.kernel_stride = 1
        self.pooling_height = 1
 
        self.cnn = CNN(self.H,self.C,self.W,self.kernel_height,self.kernel_width,self.kernel_stride,self.pooling_height,self.pooling_width,self.pooling_stride,self.output_channel)
        self.hidden_dim = 64
        self.lstm = LSTM(self.hidden_dim)
        self.hidden = 512
        self.self_attention = self_attention(self.hidden_dim,self.hidden)
        self.num_labels = 2
        self.softmax = nn.Sequential(
            nn.Linear(self.hidden_dim,self.num_labels),
            nn.Softmax(dim=1)
        )
    def forward(self,x):
        x_map, x_ca = self.channel_wise_attention(x)
        x_cn = self.cnn(x_ca)
        x_rn, x_c = self.lstm(x_cn)
        x_sa = self.self_attention(x_rn)
        x_sm = self.softmax(x_sa)
        return x_sm

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值