ER论文阅读-PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition PGCN

今天早睡了

已于 2024-09-23 21:05:44 修改

阅读量796

点赞数 13

分类专栏：情绪识别Emotion Recognition 文章标签：论文阅读

于 2024-09-23 21:01:07 首次发布

本文链接：https://blog.csdn.net/m0_49940316/article/details/142420311

版权

情绪识别Emotion Recognition 专栏收录该内容

12 篇文章 2 订阅

订阅专栏

PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition PGCN

基本介绍：TMM,2024, CCF-B

原文链接：https://arxiv.org/pdf/2302.02520；

Abstract

情感识别在各种精神疾病的诊断和康复中起着至关重要的作用。在过去十年中，基于脑电图（EEG）的情感识别因其卓越的准确性和可靠性而被广泛研究，图卷积网络（GCN）已成为从EEG信号中解码情感的主流模型。然而，GCN可能未充分利用电极之间的关系，尤其是头皮上远距离电极之间的依赖关系，尽管这些关系已被证明在情感识别中非常重要。浅层GCN的接收域较小，只能聚合局部节点；另一方面，堆叠过多层会导致过度平滑。为了解决这些问题，我们提出了金字塔图卷积网络（PGCN），该网络在三个层次上聚合特征：局部、中观和全局。首先，我们基于电极的三维拓扑关系构建了一个基本的GCN，用于集成二阶局部特征；其次，我们基于先验知识构建了多个中观脑区，并采用中观注意力顺序计算虚拟中观中心，以聚焦于中观脑区的功能连接；最后，我们融合节点特征及其三维位置，构建一个数值关系邻接矩阵，从全局角度整合结构和功能连接。三项公共数据集上的实验结果表明，PGCN增强了跨头皮的关系建模，在主体依赖和主体无关的情境中均达到了最先进的性能。同时，PGCN在增强网络深度和接收域的同时有效地抑制了随之而来的过度平滑问题。

Introduction

情感识别是人机交互、精神疾病诊断与康复、交通运输［4］以及安全［5］等领域中的重要模块。现有的情感识别工作主要分为两类：第一类使用低成本、易获取的行为信号，如语音［6］、手势［7］和面部表情［8］；第二类使用生理信号，由于其对伪影和隐蔽性具有更强的鲁棒性，因而在可靠性和准确性方面表现更好［9］。生理信号包括脑电图（EEG）［10］、心电图（ECG）、肌电图（EMG）和皮肤电反应。

EEG在生理信号中具有较长的使用历史，因为它可以直接获取与情感相关的大脑信号。然而，EEG采集过程很容易受到人体其他生理信号和环境噪声的干扰。因此，需要进行预处理和特征提取，以揭示EEG信号中包含的情感信息［11］。图1（a）展示了EEG情感识别的流程图。预处理包括去除诸如眼电伪影、肌电伪影、心电伪影、皮肤电以及电源频率干扰等噪声和干扰。特征提取有助于揭示EEG信号中的情感相关信息，从而实现更准确的情感识别。

由于可以利用脑电极之间的连接，基于图卷积模型的方法在EEG情感识别中非常流行。作为EEG情感识别中图卷积网络（GCN）的开创性工作，DGCNN［10］通过梯度反向传播动态更新EEG通道之间的连接，以获得更具区分性的EEG特征。GCB-net［12］将GCN与广义学习系统结合，在广泛的空间中搜索特征，同时探索更深层次的EEG信息。RGNN［13］提出了两个正则化器，以更好地处理跨主体的EEG变异性。V-IAG［14］则专门针对个体差异以及EEG区域之间动态且不确定的关系。

尽管之前的工作尝试将GCN应用于EEG情感识别，但仍有一些问题尚待探索：

现有的图构建方法相对粗糙：大多数构建邻接矩阵的方法基于电极在头皮上的相邻性，而对更深入的结构和功能连接探索有限。
头皮上的情感激活模式已被研究了很长时间。然而，据我们所知，还没有前人的工作将这些发现（例如电极的功能簇）整合到情感识别的网络架构设计中。
最重要的是，现有的GCN在EEG情感识别中通常是浅层网络（2-3层），因为多层GCN容易出现过度平滑问题。然而，人类大脑具有远距离连接，浅层网络无法学习到这些远距离依赖关系。

为了解决这些问题，我们提出了一种基于图的金字塔网络，该网络逐步将感知域从局部扩展到中观和全局，并结合了神经科学研究中的先验知识。如图1（b）所示，PGCN包含三个主要部分。第一部分关注不同节点之间的强局部连接。它基于不同电极的三维空间距离构建邻接矩阵，并使用两层GCN融合具有强区域特异性的相邻节点之间的结构关联。第二部分关注特定脑区内节点之间的功能连接。基于脑研究中的先验知识［15］［16］，划分不同的中观脑区，计算每个区域内节点的注意力相关系数，并生成虚拟中观节点。第三部分则关注整个大脑中不同节点之间的可能远距离依赖关系。我们使用注意力机制计算全局邻接矩阵，融合节点之间的数值和位置关系，并使用GCN融合全脑尺度上的节点关系。最后，不同尺度的特征与原始特征融合，并使用三层全连接网络进行最终的情感识别。

与之前大多只使用二维电极关系进行GCN构建的工作相比，PGCN将节点之间的绝对位置、相对位置和数值关系融合到网络中，同时借鉴情感相关的神经科学先验研究，构建大脑区域的虚拟中观中心。为了实现这一目标，我们构建了PGCN，它从局部、中观到全局三个层次聚合EEG特征。本工作的主要贡献如下：