基于正则化图神经网络的脑电情绪识别

基于正则化图神经网络的脑电情绪识别

一、 引言（Introduction）

论文动机

​ 现有的基于脑电图的情绪识别方法大多不能很好地解决以下三个方面的问题: 1)脑电图信号的拓扑结构没有被有效地利用来学习更多的有鉴别性的脑电图特征然而，大多数方法需要在头皮上对脑电图通道进行2D表示，这可能会在flatten过程中造成信息丢失，因为通道实际上是在3D空间中排列的; 2)不同受试者的脑电图信号差异较大，不利于训练分类器的泛化; 3)参与者在观看引发情绪的刺激时，可能并不总是产生与刺激一致的预期情绪。目前研究中，在基于脑电图的情绪识别方面，还没有人试图解决噪音标签的问题。作者提出了一个正则化的图神经网络(RGNN)来解决上述三个问题。

论文工作

​ 脑电信号中的每个通道看作是图形中的一个节点。RGNN模型扩展了简单图卷积网络(SGC)，利用了脑电图信号的拓扑结构，即根据脑网络组织的经济性，作者提出了一个符合生物原理的稀疏邻接矩阵来捕捉局部和全局的通道间关系。局部通道间关系连接附近的神经元群，可以显示解剖学上的连通性。整体的通道间关系连接左右脑半球之间的神经元群，可以揭示与情绪相关的功能连接。此外，作者提出一个节点域对抗训练(NodeDAT)来正则化图模型，以更好地解决跨被试分类场景，并且还提出了一种基于情绪感知的分布学习(EmotionDL)方法来解决数据集中的噪声标签问题。

二、RGNN知识基础

###简单图卷积网络(Simple Graph Convolution Network ,SGC)
​ 给定图$\mathcal{G}=(\mathcal{V},\mathcal{E})$，$\mathcal{V}$表示节点集，$\mathcal{E}$表示边集。$\mathbf{X}\in {\mathbb{R}}^{n\times d}$表示特征矩阵，$n$表示节点的数目，$d$ 输入特征的维度。 $\mathcal{E}$可以用加权邻接矩阵 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$表示。 一般情况下，GNNs对输入 $\mathbf{X} $学习一个特征变换函数，生成输出 $\mathbf{Z}\in {\mathbb{R}}^{n\times d}$,$d$表示输出的维度。特征转换可以写成： ${\mathbf{H}}^{l+1}=f\left({\mathbf{H}}^l,\mathbf{A}\right)$，这里 $l=0,1,\dots ,L-1,L$，${\mathbf{H}}^0=\mathbf{X},{\mathbf{H}}^L=\mathbf{Z}$。

​ GCN(graph convolution network)的方法如公式所示： $f\left({\mathbf{H}}^{l+1}\right)=\sigma \left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{\frac{1}{2}}{\mathbf{H}}^l{\mathbf{W}}^l\right)$，其中 $\mathbf{D}$表示 $\mathbf{A}$ 的对角度矩阵，规范化邻接矩阵 ${\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{\frac{1}{2}}$可以防止$\mathbf{H}$变得过大。SGC方法消除非线性函数 $\sigma \left(\right)$和将所有层之间的所有线性变换 ${\mathbf{W}}^l$重新参数化为一个线性变换 $\mathbf{W}$，如下所示： $\mathbf{Z}={\mathbf{H}}^L={\mathbf{S}\mathbf{H}}^{L-1}{\mathbf{W}}^{L-1}=\dots ={\mathbf{S}}^L\mathbf{X}\mathbf{W}$，这里$\mathbf{S}={\mathbf{D}}^{-\frac{1}{2}}{\mathbf{A}\mathbf{D}}^{\frac{1}{2}},$ $\mathbf{W}={\mathbf{W}}^{L-1}{\mathbf{W}}^{L-2}\dots {\mathbf{W}}^0$。本质上SGC计算拓扑感知的线性变换$\hat{\mathbf{X}}={\mathbf{S}}^L\mathbf{X}$，最后一个线性变换 $\mathbf{Z}=\hat{\mathbf{X}}\mathbf{W}$。

**谱图卷积（**Spectral Graph Convolution）

​ KaTeX parse error: Undefined control sequence: \cal at position 1: \̲c̲a̲l̲ ̲{G}表示为无向连接图，其拉普拉斯矩阵定义为

$$L=D-A$$

​ $L$ 是laplacian矩阵，$D$是顶点的度矩阵(对角矩阵)，对角线上的元素 $D_{ii}={\sum }_j{A}_{ij}$依次为各个顶点的度， $W$是图的邻接矩阵。归一化的定义是 :

$$L=I_n-D^{-1/2}A{D}^{-1/2}=U\Lambda U^T$$

其中，拉普拉斯矩阵 $L$被傅里叶基 $U=\left[u_0,\dots ,u_{n-1}\right]\in {}^{n\times n}$对角化，这里， $\Lambda =\mathrm{diag}\left(\left[{\lambda }_0,\dots ,{\lambda }_{n-1}\right]\right)\in {}^{n\times n}$，$I_n$是单位矩阵。

​ 给定空间信号$x\in {\mathbb{R}}^{n\times d}$它的图傅里叶变换定义为 $\hat{x}=U^{T}x$，逆变换为 $x=U $ 。在图$G$上，$x$和 $y$两个信号的卷积表示为：

$$x{\ast }_{G}y=U\left(\left(U^{T}x\right)\odot \left(U^{T}y\right)\right)$$

其中，$\odot $表示hadamard product。信号 $x$被$g_{\theta }()$滤波输出 $y$可以表示为：

$$y=g_{\theta }(L)x=g_{\theta }\left(U\Lambda U^T\right)x=U{g}_{\theta }(\Lambda )U^{T}x$$

其中， $g_{\theta }(\Lambda )$可以表示为：
$$g_{\theta }(\Lambda )=\left[\begin{array}{ccc}g\left({\lambda }_0\right)& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & g\left({\lambda }_{N-1}\right)\end{array}\right]$$
​ 采用$K$阶切比雪夫多项式（Chebyshev polynomials）来代替卷积核的图傅里叶变换 $g_{\theta }(\Lambda )$ 以简化计算复杂度。基于$K$阶切比雪夫多项式， 可以$g_{\theta }(\Lambda )$ 近似为：

$$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })$$

其中，${\theta }_k^{\prime }$为切比雪夫多项式系数，$\tilde{\Lambda }=2\Lambda /{\lambda }_{max}-I_N$是标准化的 $\Lambda$标准化后，其对角线元素取值在[-1,1]，${\lambda }_{max}$是$\tilde{\Lambda }$中最大的元素，$I_N$是N阶单位阵。 $T_k(x)$可按以下递推公式计算得到$$\{\begin{array}{l}{T}_0(x)=1,T_1(x)=x\\ T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x),k\ge 2\end{array}$$

​ 则对信号 的图滤波操作可以写为： $$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })$$一、

三、**论文方法（**Methods）

1. 邻接矩阵 (Adjacency Matrix)

图1 62 EEG通道图(灰色对称通道通过红色虚线全局连接)

​ 作者在邻接矩阵中初始化局部通道间关系，如下所示： ${\mathbf{A}}_{ij}=\exp \left(-\frac{d_{ij}}{2{\delta }^2}\right)$，其中 $d_{ij,}i,j=1,2,\dots ,n$表示通道$i,j$间的物理距离， $\delta$代表一个稀疏超参数衰变率可以控制通道之间的联系。

​ 图1描述了SEED和SEED-IV的全局连接关系，为了利用差分不对称信息，我们将$\mathbf{A}$初始化全局通道间关系到[-1,0]如下: ${\mathbf{A}}_{ij}={\mathbf{A}}_{ij}-1$,邻接矩阵$\mathbf{A}$旨在表示结合局部解剖连接和与情绪相关的整体功能连接的大脑网络。

2. RGNN

图2 RGNN整体框架

图2表示整体RGNN框架，结合NodeDAT和EmotionDL，总体损失函数计算如下： ${\Phi }^{\prime \prime }={\Phi }^{\prime }+{\Phi }_D$，${\Phi }^{\prime },{\Phi }_D$分别为节点域对抗训练与情绪感知分布学习的损失函数。其伪代码如Algorithm 1所示。

节点域对抗训练(NodeDAT)

​ ${\mathbf{X}}^S\in {\mathbb{R}}^{N\times n\times d}$表示给定源域数据，${\mathbf{X}}^T\in {\mathbb{R}}^{N\times n\times d}$表示未标记的目标域数据。领域分类器的目标是最小化以下两个二进制交叉熵损失的总和: $${\Phi }_D=-\sum _{i=1}^N\sum _{j=1}^n(\log \left(p_D{\left(0|{\mathbf{X}}_i^S\right)}_j+\log \left(p_D{\left(1|{\mathbf{X}}_i^T\right)}_j\right)\right)$$

​ 域分类器的目标是将源数据分类为0，将目标数据分类为1。 点的域概率可以表示为：$$\begin{array}{l}{p_D\left(0|{\mathbf{X}}_i^S\right))}_j={\mathrm{softmax}}_0\left(\sigma \left({\mathbf{Z}}_{ij}^S\right){\mathbf{W}}^D\right)\\ {p_D\left(1|{\mathbf{X}}_i^T\right))}_j={\mathrm{softmax}}_1\left(\sigma \left({\mathbf{Z}}_{ij}^T\right){\mathbf{W}}^D\right)\end{array}$$

域分类器利用一个梯度反转层(GRL)来在反向传播期间反转域分类器的梯度。

情绪感知分布学习(EmotionDL)

​ 作者转换每个训练样本标签 Y i ∈ { 0 , 1 , … , C − 1 } \mathbf{Y}_{i} \in\{0,1, \ldots, C-1\} Yi​∈{0,1,…,C−1}转化为所有类的先验概率分布${\hat{\mathbf{Y}}}_i\in {\mathbb{R}}^{\alpha }$。在SEED数据集中，有积极、中性和消极三类情绪，并有相应的类指标分别是0 1 2，将$\mathbf{Y}$转换如下:$${\hat{\mathbf{Y}}}_i=\{\begin{array}{ll}\left(1-\frac{2ϵ}{3},\frac{2ϵ}{3},0\right),& {\mathbf{Y}}_i=0\\ \left(\frac{ϵ}{3},1-\frac{2ϵ}{3},\frac{ϵ}{3}\right),& {\mathbf{Y}}_i=1\\ \left(0,\frac{2ϵ}{3},1-\frac{2ϵ}{3}\right),& {\mathbf{Y}}_i=2\end{array}$$

在SEED-IV中，有四个类:中性、悲伤、恐惧和快乐，分别对应的类指标为0、1、2和3，将$\mathbf{Y}$转换如下: $${\hat{\mathbf{Y}}}_i=\{\begin{array}{ll}\left(1-\frac{3ϵ}{4},\frac{ϵ}{4},\frac{ϵ}{4},\frac{ϵ}{4}\right),& {\mathbf{Y}}_i=0\\ \left(\frac{ϵ}{3},1-\frac{2ϵ}{3},\frac{ϵ}{3},0\right),& {\mathbf{Y}}_i=1\\ \left(\frac{ϵ}{4},\frac{ϵ}{4},1-\frac{3ϵ}{4},\frac{ϵ}{4}\right),& {\mathbf{Y}}_i=2\\ \left(\frac{ϵ}{3},0,\frac{ϵ}{3},1-\frac{2ϵ}{3}\right),& {\mathbf{Y}}_i=3\end{array}$$

其中， $ϵ\in [0,1]$表示在训练标签中控制噪音水平的超参数。 在得到转换后的类分布$\mathbf{Y}$ 后，我们的模型可以通过最小化以下Kullback-Leibler (KL)散度来进行优化： ${\Phi }^{\prime }={\sum }_{i=1}^N\mathrm{K}\mathrm{L}\left(p\left(\mathbf{Y}|{\mathbf{X}}_i,\theta \right),{\hat{\mathbf{Y}}}_i\right)+\alpha \Vert \mathbf{A}{\Vert }_1$。

四、 结果（Results）

​ 为了评估本文方法的性能，作者在SEED 与SEED-IV脑电图数据集上进行了subject-dependent和subject-independent实验。实验结果如表1与表2所示。RGNN模型在两个数据集上都取得了优于所有基线的性能，包括使用所有频带的DE特征时的最优良的BiHDM模型。除了提出的两个正则化器外，主要的性能改进可以归结于两个因素: 1)邻接矩阵包含了左右半球之间的全局通道间不对称关系; 2)我们的模型通过扩展SGC来减少过拟合的问题，这比DGCNN中使用的ChebNet简单得多。

图3邻接矩阵对角元素热力图

图4 邻接矩阵A中电极之间的前10个边权值

​ 图3中前额叶、顶叶和枕叶区域有强烈的活动，表明这些区域可能与大脑的情感处理有很强的关系。图4显示了邻接矩阵A中，边权值最大的前10个通道之间的连接。注意，在学习A之后，所有的全局连接仍然是最强的连接，这再次证明了全局通道间关系对于情感识别是必不可少的。

五、结论（Conclusion）

。图4显示了邻接矩阵A中，边权值最大的前10个通道之间的连接。注意，在学习A之后，所有的全局连接仍然是最强的连接，这再次证明了全局通道间关系对于情感识别是必不可少的。

五、结论（Conclusion）

​ 本文提出了一种基于脑电图信号的正则化图形神经网络。我们的模型在生物学上支持捕获本地和全球渠道间的关系。此外，我们提出了两个正则化器，即NodeDAT和EmotionDL，以提高我们的模型对跨被试情绪识别的鲁棒性。模型分析表明，作者提出的生物支持邻接矩阵和两个正则化器对模型性能做出显著的贡献。对神经元活动的研究表明，前额叶、顶叶和枕叶可能是情感识别中信息量最大的区域。