运动想象 (MI) 分类学习系列 (12) :RGDDANet

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0957417423021140
论文题目：A cross-session motor imagery classification method based on Riemannian geometry and deep domain adaptation
论文代码：暂无

0. 引言

深度学习的运用提高了运动意象（MI）的分类精度，但脑机接口（BCI）应用中标定时间长的问题仍未得到解决。为了解决这个问题，我们提出了一种新的黎曼几何和深度域自适应网络（RGDDANet） 用于MI分类。具体而言，设计了两个一维卷积从脑电信号中提取时间和空间特征，然后利用空间协方差矩阵将提取的特征映射到黎曼流形进行处理。为了对齐黎曼流形上的源特征和目标特征分布，我们提出了一种对称正定（SPD）矩阵平均差异损失（SMMDL） 来最小化两个域之间的距离。

图形摘要：

1. 主要贡献

1. 一种基于CNN和黎曼几何组合的新型网络结构。
2. 域适配用于提高跨会话分类的性能。
3. 一种基于黎曼几何的新型域损失函数。
4. 性能优异，未标记样品更少。

2. 提出的方法

拟议的RGDDANet的架构:

为了对齐嵌入空间中的特征，标记的源数据和未标记的目标数据在训练阶段同时输入到网络中。首先，在经过空间卷积层和多尺度时间卷积层时提取空间和时态信息;为了加快网络训练速度并避免过拟合，每个卷积层之后都进行批量归一化，以减少内部协方差偏移。然后，通过计算作为SPD矩阵的空间协方差矩阵，将提取的特征映射到非欧几里得空间。并利用双线性映射层将SPD矩阵转换为低维流形。由于 SPD 矩阵位于非欧几里得流形上，因此使用 Log-Eig 层将其转换为平面空间。最后，源特征和目标特征被展平为一维向量，并输入到全连接 （FC） 层进行分类。

2.1 时空特征提取

与图像不同，输入的脑电图信号由来自不同电极和时间点的信息组成。因此，公共卷积层将不再适合脑电图信号。在本文中，我们引入了两个一维卷积层，分别从空间维度和时间维度中提取特征。

这里的时空特征类似于EEGNet中的一维卷积层。另外，时间特征提取选用的是多尺度特征提取的方式。

2.2 SPD矩阵均值差异损失

为了对齐黎曼流形上的源和目标特征，我们提出了一种新的SPD矩阵平均差异损失（SMMDL）来测量源域和目标域之间的边际和条件差异。

受Zanini等人（2017）提出的黎曼空间协方差矩阵对齐方法（RA）的启发，我们首先计算了源和目标特征的黎曼均值：
RA的原理部分内容在这篇文章有介绍：运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）

$C_s^c(C_t^c）$ 是源（目标）域的 SPD 矩阵，$exp(\cdot )$和$log(\cdot )$分别表示矩阵的指数运算和对数运算。

为了对齐源域和目标域的特征分布，一个简单的想法是最小化两个黎曼均值之间的黎曼距离：

具体而言，边际损失和条件损失定义为：

其中，$C_s^c(C_t^c）$ 是带有标签的 SPD 矩阵c在源（目标）域中，以及$E(\cdot )$表示矩阵的欧几里得平均值。

注意：Sun et al. （2016） 提出的 CORAL 损失是域适应中常用的方法，也是通过对齐不同域的二阶统计量来最小化域偏移。但是，SMMDL 和 CORAL 之间存在一些差异：

1. CORAL考虑一维特征，并使用来自多个样本的特征计算二阶统计量。SMMDL 直接使用 SPD 矩阵作为输入，每个 SPD 矩阵仅包含来自一个样本的二阶统计量。

2. CORAL 直接最小化源域和目标域的协方差矩阵之间的欧几里得距离。SMMDL考虑了SPD流形的非欧几里得结构，并最小化了源域和目标域中心协方差矩阵之间的黎曼距离。

2.3 网络结构

实验中使用的网络结构的具体参数如下：

3. 结果

3.1 与基线模型的比较

在BCI competition IV dataset 2a上的效果：

在BCI competition IV dataset 2b上的效果：

3.2 域适应的有效性

拟议的网络与域适应（w/ DA）和不具有域适应（w/o DA）之间的比较：

3.3 不同域损失的比较

为了评估本文提出的SMMDL，我们分别使用MMD和CORAL损失进行了额外的实验。

3.4 黎曼流形嵌入的有效性

4. 总结

到此，使用 运动想象 (MI) 分类学习系列 (12) :RGDDANet 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

欢迎来稿

欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！