【深度学习】AMDET文章翻译及个人感悟

【文章地址】https://arxiv.org/abs/2212.12134

摘要

情感计算是人工智能的一个重要子领域，随着脑机接口技术的快速发展，基于脑电图信号的情感识别得到了广泛的关注。尽管有大量的深度学习方法，但有效地探索脑电图数据中的多维信息仍然是一个巨大的挑战。在本文中，我们提出了一种基于注意的多维脑电Transformer（AMDET），该模型可以利用多维全局注意机制利用脑电数据频谱时空特征之间的互补性。我们将原始脑电图数据转换为三维时间-频谱-空间表示，然后AMDET使用频谱-空间转换编码器层提取脑电图信号的有效特征，集中于具有时间注意层的关键时间帧。我们在DEAP、SEED和SEED-IV数据集上进行了广泛的实验，以评估AMDET的性能，其结果在三个数据集上都优于最先进的基线。其检测准确率分别为97.48%、96.85%、97.17%、87.32%

1、介绍

情感是人类对外部事件或刺激的一种全面的心理和生理反应。它会极大地影响一个人的行为和思想，在某些情况下甚至会影响健康，导致疾病。毫无疑问，情感在生活中扮演着重要的角色。因此，在此意义上，情感识别技术已被广泛引入和应用，如精神疾病检测、疲劳驾驶检测和人机交互。因此，越来越多的研究人员致力于这项研究。
情绪识别大致可以分为两类，一类是基于人类的外部反应，如面部表情、手势和语音语调等。另一种是基于人体的生理信号，如呼吸、心率、体温、脑电图（EEG）等相关的。前者更容易收集，但更为主观。为了详细说明，人们可能会假装自己的面部表情和行为，或者故意大声说话，假装自己生气。即使在相同的情绪下，不同的人的行为也会有所不同。相比之下，脑电图检测更客观，因为人类很难控制自己的生理信号来假装情绪。
脑电图是在人类头皮表面检测到的生物电活动。它可以通过便携式和相对便宜的设备来收集。正常人脑电图信号的振幅范围为10µV-200µV，频率为0.2Hz-90Hz 。脑电图具有较高的时间分辨率，允许以毫秒的分辨率记录大脑活动。然而，它的空间分辨率是有限的，它指的是在大脑的特定区域内准确定位大脑活动的能力。这种限制是由于脑电图采集装置的物理约束，以及大脑不同区域之间的电场干扰造成的。尽管有这些局限性，脑电图仍然是研究大脑活动的有价值的工具，对我们对大脑的理解有重要贡献。
大量研究表明，脑电图能够在一定程度上准确反映个体的情绪状态。脑电图在时域、空间域和频域的特征都与人类的情绪状态高度相关。例如，在频域，当人们处于平静状态时，阿尔法波增强，当大脑活跃和高度集中时，贝塔波增强，而伽马波与大脑的过度活跃有关。研究人员经常使用贝塔波与阿尔法波的比率作为大脑活性的指示，并根据阿尔法波的力量来评估一个人是否处于快乐状态。因此，在许多情绪识别的研究中，功率谱密度（PSD）和差分熵（DE）等功率特征经常被用作脑电图信号的特征。
脑电图的空间特性反映在各情绪状态与大脑的某些特定区域之间的密切相关性上。大脑可以分为四个区域，分别是额叶，顶叶，颞叶和枕叶。额叶的主要功能是认知思维和情感需求。顶叶对触觉的感觉作出反应。它也与身体的平衡和协调有关。颞叶主要负责听觉和嗅觉的感觉，以及与情绪和心理活动有关。最后，枕叶负责处理视觉信息。人们的情绪会触发大脑特定区域的活动。例如，当人们感到快乐的时，大脑左额叶的活动被激活，当人们感到恐惧的时被抑制。Li等人将功能连接网络与局部激活相结合，验证了响应情绪的局部大脑区域的活动，以及参与活动的大脑区域之间的相互作用。很明显，脑电图信号具有可以在空间领域进行检测的良好特征。
脑电图具有较高的时间分辨率，因此在时域内包含了大量不可忽视的信息。一些研究利用统计特征对脑电图信号进行分析，如计算平均值、标准差和差值等。在一个时间窗口期内。这些特征可以表明脑电图在时间窗期内是平滑振荡还是剧烈变化。在情绪识别领域，脑电图第一差（1ST）作为特征，定义为原始信号第一秒绝对值的平均值。在分析序列信号时，也有平稳性值得考虑。其中一个测量值是李雅普诺夫指数，它用于确定任何稳态行为的稳定性，包括混沌解。傅里叶变换是分析频域的一种常用方法。然而，它并没有表现出任何时域特征，因此研究人员提出了短时傅里叶变换来弥补这一缺陷。小波变换是解决时域信息缺乏的另一种方法，也常用于脑电图的分析。
如上所述，脑电图在频率、空间和时域中包含潜在的丰富信息。因此，如何提取和充分利用这些信息成为最大的挑战。本文的主要贡献如下所述。

1. 我们提出了一种模型AMDET，该模型利用多维全局注意机制提取脑电信号的特征。AMDET在DEAP、SEED和SEED-IV数据集上优于其他最先进的方法。我们还进行了一个消融实验，以证明在时间、空间和频率三个领域使用所有信息的必要性。
2. 我们使用基于Grad-CAM的算法进行了广泛的可视化实验，以揭示模型对通道的关注，并找出对情绪识别贡献更大的大脑区域。
3. 我们通过减少实验中的通道数量，进一步研究了脑电图信号的冗余性。我们还仅用少量的脑电图通道验证了我们的模型的有效性。AMDET即使使用不到20%的脑电图通道，也能实现高性能，这提供了实际应用的可能性。
   本文的其余部分组织如下。相关工作详见第二节。然后，第三节详细介绍了所提出的AMDET，包括脑电图信号预处理、多维特征提取和分类算法。在第四节中提出的实验旨在证明所提出的AMDET的有效性。第五节为实验结果和讨论结果。第六节得出结论和今后的工作。

2、相关著作

目前基于脑电图的情绪识别方法将主要分为两种方法。其中之一是首先提取可区分的特征，然后使用传统的机器学习方法进行分类。另一种方法是使用端到端深度学习方法，同时完成特征提取和分类。深度学习在计算机视觉和自然语言处理等某些领域的表现都优于传统的机器学习方法。
支持和支持向量机（SVM）情绪分类器，并取得了良好的结果。小波变换是一种广泛应用的时频域分析和脑电图[21]特征提取方法。Li等人利用离散小波变换将脑电图信号划分为四个频带，并计算其熵和能量作为k-最近邻分类器（KNN）的特征。Subasi等人还采用可调谐Q小波变换（TQWT）作为特征提取器，然后将旋转森林集成作为分类器，利用不同的分类算法，如KNN、SVM、人工神经网络、随机森林和其他四种不同类型的决策树算法。
由于被试之间存在巨大差异，在复杂的认知过程中很难找到具有代表性和有效的特征。与传统的机器学习算法相比，深度学习不需要先验知识和人工特征提取，因此可以直接从复杂数据中提取特征。在深度学习中，卷积神经网络（CNN）可以提取数据的局部特征，递归神经网络（RNN）擅长从时间序列数据中提取信息，而变换器将注意力集中在数据中更有影响力的部分。设计模型的网络结构是从脑电信号中充分提取信息是关键步骤。Du等人采用时空域的自注意机制提取关键脑电图特征。Li等人首先提取每个通道的DE特征，然后根据这些特征在脑表面的位置将这些特征排列成一个二维信号，然后利用分层卷积神经网络（HCNN）对空间表示进行提取和分类。在一些研究中，我们使用长-短期记忆（LSTM）从脑电图信号中学习时间特征。Tao等人将自注意机制引入其网络模型，为每个通道分配权值，并利用CNN和RNN分别获得脑电图的时域和空间域特征，最终取得了良好的结果。Jia等人设计了一种三维注意机制，以实现在所有特征中的时空特征和区分局部模式之间的互补性。Xiao等人提出了一种基于注意的四维神经网络，该神经网络融合了不同领域的信息，并捕获了脑电图信号[29]中的区分模式。

3、方法

为了充分捕获脑电图信号在频率、空间和时域上的丰富信息，我们在模型中引入了全局注意机制。图1显示了AMDET的概述。它包含空间注意块、频谱注意块、时间注意块和分类层。首先介绍了脑电图信号的预处理方法。

A、预处理

如图2所示，需要对原始脑电图数据进行预处理，生成三维脑电图样本。为了利用脑电图数据的时域信息，首先使用3秒窗口对原始脑电图数据进行非重叠分割，生成样本。然后，使用一个0.5秒的窗口对每个样本进行不重叠的分割，并将每个窗口中的脑电图信号视为样本中的一帧。单个脑电图样本包含多个连续的帧，以保持脑电图信号的时域特征。此外，由于脑电图信号来自多个通道，且不同的通道代表不同的大脑区域，因此我们保留了脑电图通道以保留空间信息。此外，脑电图信号的高频部分比其他频率部分的影响大于情绪识别。因此，我们将脑电图信号划分为多个频带，并提取每个频带的特征。对于样本中的每一帧，它分别在Δ波段【4-8Hz】、α波段【8-14Hz】、β波段【14-31Hz】、γ1波段【31-50Hz】、γ2波段【50-75Hz】上进行过滤。由于PSD和DE特征已被证明在脑电图情绪识别中有效，我们提取了PSD和DE特征分别为每一帧在所有五个频带上的每个通道。PSD的定义为：$$PSD=E[x^2]$$其中，x为一个随机信号，即一帧内的脑电图信号。DE是在连续变量上的香农信息熵的一种广义形式，可以用来度量信息的量。DE定义为：

式中，p (x)为信号的概率密度函数。当随机变量近似服从高斯分布$$N（\mu ,{\sigma }^2）$$时，DE的计算可以通过以下方程来简化：

其中，µ和σ分别表示信号x的均值和标准差，e表示欧拉常数。
因此，每个样本经过特征提取$$x\in {\mathbb{R}}^{2T\times 2f\times C}$$后具有三维维度。其中，T为样本的时间长度，f为频带数，C为脑电图数据的通道数。最后，对每个样本采用z分数归一化处理。

B. 光谱注意块
我们提取了不同频段的脑电图信号的PSD和DE特征。不同频段上的脑电图信号反映了人类不同的生理状态。例如，低频脑电图信号经常出现在人类睡眠或休息时，而高频脑电图信号通常出现在人们焦虑或受强烈情绪波动[7]。因此，脑电图信号可以在频域内区分情绪。为了提取光谱特征，我们对光谱注意块中不同频带上提取的特征进行了跨带和跨特征注意计算。光谱注意块可以表示为：

其中，$${\mathrm{E}}_{pos}^{fa}\in {\mathbb{R}}^{2f\times C}$$表示频域特征的位置编码，t表示样本中的帧，l表示层数。如图1所示，我们采用多头注意（MHA）对脑电图信号进行注意计算，然后在变压器编码器中添加一个多层感知器（MLP）。MHA块和MLP块均采用残差连接和层归一化（LN）来加速网络训练。为了学习不同时间段内脑电图信号的共同特征，我们使用相同的频谱注意块来训练不同的帧。同时，这也可以大大减少模型的参数数量。换句话说，对于同一样本中的不同帧，频谱注意块中的变压器编码器共享相同的参数。

C. 空间注意块
脑电图信号的通道代表了由电极采样的大脑的位置。与反映人类不同生理状态的脑电图频率特征相似，大脑的每个区域也负责不同的功能。例如，大脑皮层的额叶部分通常负责人类的生理情绪。来自不同通道的脑电图信号之间的相关性反映了不同脑区域之间的功能连接。因此，我们对通道进行自我注意计算，以探索包含空间中可用信息的大脑的功能连通性5。空间注意块可以表示为：

其中，$${\mathrm{E}}_{pos}^{sa}\in {\mathbb{R}}^{C\times 2f}$$表示空间信息的位置编码，tran()表示转置操作。与频谱注意块类似，采用了变压器编码器，并在同一样本中的不同帧中共享该块中的编码器的参数。

D. 时间注意阻滞
脑电图信号是时间序列，在不同时间采样采集。当人类受到刺激或有情绪波动时，它可以反映在脑电图信号随时间的变化中。因此，脑电图号在时域也携带大量的有用信息。由于情绪波动可能只发生在特定的时期，因此样本中的每一帧都对分析至关重要。因此，在时间块中，模型为样本内的帧分配了一个注意分数，以反映每个帧的重要性，如图1所示。然后，通过在加权总和中有一个较大的权重来强调和保留关键框架。为了计算每一帧的注意得分，将前一个空间注意块的输出从$$Z_L^{sa}\in {\mathbb{R}}^{2T\times 2f\times C}$$拉平为$$Z^{ta}\in {\mathbb{R}}^{2T\times 2fC}$$。计算方法如下：

其中$$W_{tem}^T$$和$$b_{tem}$$为可学习参数，$$O^{ta}$$表示时间注意块的输出。

E. 分类层
原始脑电图信号通过频谱注意块、空间注意块和时间注意块后，输出是整合多个维度上所有可用信息的表示。为了融合表示的全局信息并输出最终的分类结果，采用了分类器层。分类层是一个全连接的神经网络的单层。将时间注意块的输出扁平化成一维向量后，利用分类层得到最终结果，利用交叉熵损失函数对整个神经网络进行优化：

其中，N为批处理大小的数量，C为类别数。y c n和yˆcn分别为相应类别的单热标签和预测概率。

4、实验

A. 数据集
DEAP是一个脑电情绪识别的公共数据集。32名受试者被要求观看40个1分钟的音乐视频，并根据在线自我评估记录他们从1分钟到9分钟的心理和唤醒情绪水平。根据上述级别，我们将数据集分为两个类，阈值为5。采用10/20系统采集512 Hz，采集32个通道，然后降采样至128Hz，通过4~45Hz的滤波器。值得注意的是，每个试验都包含3秒的试验前基线和60秒的情绪相关信号。根据之前的工作，我们通过从试验前信号中减去基线DE特征来计算DE特征。
SEED和SEED-IV数据集由上海交通大学的BCMI实验室收集，已广泛应用于情绪识别研究。SEED数据集包含三种情绪：积极、消极和中性。受试者被要求观看这三种情绪的视频，以捕捉相应的脑电图信号。共计15名受试者参与了本次实验。每个受试者观看15个视频，每种情绪观看5个视频，每个视频大约4分钟。在视频之间有一个45秒的自我评估期和一个15秒的休息时间。数据由62通道的ESI神经扫描系统收集，降采样到200Hz，并使用0-75Hz的带通频率滤波器进行滤波。
SEED-IV世包含了快乐、悲伤、中性和恐惧的情绪。以同样的方式，15名受试者参与了实验，并被要求观看相应的情感电影片段。每个受试者的实验任务包含24条路径，每条路径包括5秒的开始提示、2分钟的视频和45秒的自我评估。与SEED一样，脑电图信号使用ESI神经扫描系统采集，该系统由62个通道组成，并降采样到200 Hz。降采样后，采用1-75 Hz带通滤波器去除噪声。

B.实验设计
为了评价我们的模型在情绪识别任务中的作用，我们设计了以下实验来进行综合比较。首先，我们将AMDET与其他目前最先进的模型进行了比较。然后，我们设计了烧蚀实验来探索我们的模型的每个部分的影响。最后，通过可视化实验对脑电图数据的特征进行了研究。以下是我们对实验的描述：
1) 基线模型：
SVM：一种求解样本最大边际超平面的广义线性分类器
BiHDM：一种基于循环神经网络的脑电图情绪识别的左右半球差异模型
RGNN：一个正则化的图神经网络，考虑不同脑区域之间的生物拓扑结构，以捕获不同脑电图通道之间的局部和全局关系。
4D-CRNN：一种卷积递归神经网络，提取脑电图信号的空间、频谱和时间域特征，用于情绪识别。
SST-EmotionNet：一种基于注意力的双流CNN，它同时将空间光谱的时间特征集成在一个单一的网络框架中。
4D-aNN：一个基于由CNN和双向LSTM组成的四维注意力神经网络

2) 消融实验：
在我们的方法中，我们在三个维度上定制了不同结构的模型，以捕获脑电图信号的丰富特征。为了研究模型各部分的作用，我们分别进行了消融实验，通过去除光谱注意块、空间注意块和时间注意块来探索模型的性能。

3) 可视化和脑电图通道选择：
我们设计了基于注意机制的模型，使模型学习和关注光谱、空间和时间领域的重要部分。因此，AMDET实现了最先进的性能。但与此同时，了解训练后的模型对脑电图情绪识别的可解释性，如深度模型的可解释性，或找到脑电图的特定时域特征，采用Grad-CAM来可视化模型注意的位置。梯度ad-cam（梯度加权类激活映射）使用梯度测量模型提取的特征中元素对预测结果的影响。它能够突出图像中预测概念的重要区域。
脑电图数据中的不同通道代表了大脑皮层的不同区域，不同的大脑区域负责不同的生理功能。在SEED数据集上，通道数为62个，来自不同的大脑位置。然而，过多的通道不仅增加了计算工作量，而且使脑机交互的实际应用变得困难。因此，减少在分析脑电图数据时所使用的通道数量具有重要意义。我们的目标是识别关键的情绪识别的大脑区域或通道。在此基础上，我们进一步进行了脑电图通道的选择。我们将用于模型训练的脑电图通道的数量分别从62个通道减少到32个、16个和8个通道，并讨论了通道的数量对识别性能的影响。

C. 实验详细信息
本文的所有实验都是在NVIDIA TITAN Xp GPU上进行的。光谱注意块的层数和空间注意块的层数分别设置为1和1。光谱注意块中的头部数和空间注意块中的头部数分别设置为2和2。DEAP数据集的频段数（4-8赫兹、8-14赫兹、14-31赫兹、31-50赫兹）设置为4，DEAP数据集（4-8赫兹、8-14赫兹、14-31赫兹、31-50赫兹、50-75Hz）设置为5。我们使用具有学习率、权重衰减和批处理大小分别为1e-3、1e-6和16的AdamW优化器来优化神经网络。对于DEAP数据集，我们只使用了DE特征。我们对每个受试者都进行了实验。对于SEED和SEED-IV数据集，我们计算了3个实验中每个受试者的平均准确性。我们在所有实验中都使用了五倍交叉验证。

5、结果与讨论

A.与基线相比

为了将我们的模型与基线模型进行比较，我们在DEAP-Arousa、DEAP-Valence、SEED和SEED-IV数据集上进行了实验。实验结果为表一。实验结果表明，深度学习方法总体上优于传统的机器学习方法，SVM的准确率分别分别为89.33%、89.99%、83.99%和56.61%。RGNN和BiHDM分别探索SEED信号的空间特性，并在SEED和SEED-IV数据集上实现94.24%/79.37%和93.12%/74.35%精度。4D-CRNN不仅关注空间域的特征，还通过CNN和RNN提取了脑电图的频谱-时空特征，在SEED数据集上的准确率较高，达到94.22%。此外，它在DEAP数据集上的准确率分别达到了94.22%和94.58%。SST-EmotinNet和4D-aNN试图结合CNN和LSTM将注意机制整合到他们的模型中。他们还融合了各域的脑电图信号的特征，最终分别在SEED和SEED-IV数据集上获得了96.02%/84.92%和96.25%/86.77%的结果。我们提出的模型利用一种基于变压器的方法来提取脑电图信号的频率和空间特征，然后使用一个时间注意块来帮助模型聚焦于重要的帧。最终结果优于所有基线模型，在4个数据集上分别达到96.85%、97.48%、97.17%和87.32%。值得注意的是，关注多个领域的方法的结果优于那些只研究单一领域的方法，这说明了探索脑电图信号的多维特征的价值。同时，与相似的基于注意的模型SST-EmotitNet和4D-aNN的比较表明，Transformer在不同域的关键和鉴别特征检测方面优于CNN和LSTM。

与基线模型相比，AMDET的标准差也最低，这意味着它更能适应不同的人。图3、图4和图5分别展示了DEAP、SEED和SEED-IV数据集上的每个实验结果。对于DEAP数据集，共有32个受试者和2个实验，唤醒和效价分类，除受试者5、22和32外，几乎所有的准确率均达到95%以上。他们的准确性是95.5%/92.25%，92.5%/91.625%，和唤醒和效价分类的94%/94%。SEED数据集包括15名受试者，每个受试者有三天的实验数据。在SEED数据集上进行分类时，有6个受试者，即受试者1、2、3、4、7和14，其准确率均低于97%的平均水平。对于SEED-IV数据集，它包括15名受试者和3天的数据作为SEED数据集，并且对分类有额外的情绪恐惧。对于SEED-IV数据集的分类，有5名受试者，准确率低于85%，他们分别为受试者1、2、7、9和11。在SEED-IV数据集中，三天的准确率变化很大，第2天的准确率比第一天低约6%，第3天的准确率低约4%。在第2天和第3天的数据收集过程中，可能会发生一些事故。
实验结果表明，amdet在DEAP、SEED和SEED-IV数据集上均具有较高的精度和较低的标准差的优良性能。这也说明了融合脑电图多维信息进行分类的有效性和必要性。

B. 消融研究

在我们的方法中，该模型有三个块用于脑电图信号的特征提取，用于计算三个不同维度的注意力。为了探究模型中不同的注意块在分类中的作用，我们分别删除了光谱注意块、空间注意块和时间注意块，只保留了剩下的两个注意块。计算结果如图6所示。我们发现光谱层比时空层更重要。对于DEAP数据集上的唤醒和情绪分类，当去除频谱注意块后，模型的性能显著下降，分别下降了13.53%和13.16%。相比之下，去除空间注意块后，模型精度分别略微下降了0.83%和0.81%。同样，对于SEED和SEED-IV数据集，当去除频率注意层时，准确率下降幅度最大，分别为4.57%和11.28%。空间注意层对SEED-IV数据集的精度影响最小，去除后仅下降了4.83%。在SEED数据集上，去除后的空间注意块和时间注意块的影响无显著性差异，分别下降了1.3%和1.16%。因此，我们认为不同频带上的特征是情绪识别任务中最重要的特征。换句话说，该模型主要关注频域特征，以对不同的情绪进行分类。在提取DE和PSD特征后，脑电图信号具有更强的鉴别性。另一方面，与脑电图数据的频域特征相比，其时空特征在情绪识别中的重要性较小，且在情绪识别中并不起决定性作用。

C. 脑电图通道可视化和通道选择
为了探究训练后的模型学习到什么，我们采用GradCAM来可视化模型的关注点。我们使用特征图和梯度来生成一个热图，显示输入部分对预测有更大的影响。

为了识别情绪认知的关键通道，我们需要研究每个通道对训练模型预测的影响。在对所有62个通道进行模型训练后，我们使用Grad-CAM进行可视化。根据其权重对通道进行情绪分类排序，并选择权重较大的通道进行后续实验。图7显示了SEED数据集上第8个受试者的前32、前24、前16和前8个通道。可以看出，前8个通道分别为P6、C5、TP8、F6、FP2、PO8、FC5、F5，在大脑位置上大致集中在颞叶和顶叶。结果表明，大脑皮层的这些区域对情绪识别结果的影响大于其他部分。

除了脑电图信号的通道可视化外，我们还进一步研究了减少通道数量的影响。我们认为在脑电图通道之间可能存在太多的冗余信息。一方面，减少通道数可以缩短计算时间；另一方面，情绪识别任务的冗余通道会产生噪声效应。因此，我们在之前的通道可视化结果上进行了脑电图通道缩减实验。我们从62个开始，步幅为4个。实验结果如图8所示。在选择重要性权重最高的32个通道后，情绪识别的准确率仅比所有使用的通道下降了1%。因此，很明显，这些所选的32个通道包含了情绪识别任务所需的大部分信息，而其余的通道对人类情绪的反映较少，对最终任务的影响也不大。当通道数分别减少到24、16和8个时，情绪识别的准确率开始逐渐下降，分别下降了2%、3%和10%。可以看出，即使将通道数减少到8个，我们的模型仍然可以达到90%左右的准确率。然而，将通道数量减少到8个以下对任务有重大影响，导致准确性大幅下降。当信道数量减少时，它可以降低时间成本和计算成本。当使用62个通道时，参数数和流量数分别为0.30M和0.03G，而8个通道的参数数仅为0.078M和0.0039G。此外，较少的推理通道对于使基于脑电图的应用成为现实具有重要意义。这意味着一个更小、更便携的收集设备。

6、结论

在本文中，我们提出了一种基于转换的模型，用于脑电图情绪识别。AMDET通过提取和融合脑电图信号中的时空频率特征，取得了最先进的结果。在没有CNN或RNN增强变压器模型的情况下，我们的模型基于自注意机制，说明了变压器在脑电图模式识别任务中的潜力。消融实验结果表明，脑电任务的信息需要获得脑电任务的良好结果，而频域信息具有特殊的意义。最后，我们进行了一个通道缩减实验，通过可视化模型的焦点来选择对结果贡献最大的通道。这减少了计算的工作量，同时确保了识别的准确性。一方面，实验结果表明，我们的模型具有较强的特征提取能力，即使在脑电图通道很少的情况下也具有良好的性能，另一方面，这也可能表明脑电图信号在通道维度上存在较大的冗余性。目前，可视化是基于Grad-CAM实现的，但更适合脑电的深度学习可视化方法需要投入更多的研究，以探索不同通道在不同脑电范式中的作用。可视化方法的改进不仅将通过减少电极的数量使脑电图设备更便携，而且有可能为神经科学的发展做出贡献。

---

感悟：
当前手头任务是结合除脑电外多模态数据综合算法实现，借鉴一下。希望对关注脑电情绪分类的有所帮助。