IJCAI 2021 | 面向睡眠阶段分类的多模态显著性波形检测网络

©PaperWeekly 原创 · 作者 | 王雪徽

学校 | 北京交通大学

研究方向 | 时间序列分析

本文介绍一篇北京交通大学网络科学与智能系统研究所于 IJCAI 2021 发表的论文《SalientSleepNet: Multimodal Salient Wave Detection Network for Sleep Staging》，该研究提出一种捕获一维信号中显著性波形的通用卷积神经网络框架，并首次应用于睡眠阶段分类。

论文标题：

SalientSleepNet: Multimodal Salient Wave Detection Network for Sleep Staging

论文链接：

https://arxiv.org/abs/2105.13864

论文代码链接：

https://github.com/ziyujia/SalientSleepNet

论文作者主页：

https://ziyujia.github.io/

睡眠阶段分类对于睡眠质量评估和疾病诊断至关重要，睡眠专家通常利用视觉检查的方式对原始睡眠信号进行特征波形的标注和人工分类，但人工标注费时费力且容易受到主观意识的影响。因此，大多数深度学习的方法为了自动化进行睡眠阶段分类，通常提取时频特征间接捕获显著性的特征波形进行分类。

该论文提出了一种多模态显著性波形检测模型，将时间序列分类问题转化为显著性检测问题并应用于睡眠阶段分类。提出模型不依赖于时频特征提取，可以直接从原始信号中探测显著波形服务于高精度的睡眠时间序列分类。

此外，该模型融合了多模态睡眠数据且捕获了多尺度的睡眠规则，与现有的 SOTA 模型相比较，提出模型实现简单，参数量小且可解释性强。在多个睡眠数据集的实验表明 SalientSleepNet 优于该领域的其他模型。

背景简介

睡眠分期对于评估睡眠质量和诊断睡眠障碍有重要意义。为了确定睡眠阶段，睡眠专家通常使用附着在人体不同部位的传感器来记录电活动，以此进行睡眠分期。这些传感器记录的信号称为多导睡眠图（PSG），由脑电图（EEG），眼电图（EOG）和其他生理信号组成。

这些记录的信号被分为 30 秒一个的睡眠期，睡眠专家根据美国睡眠医学学会（AASM）睡眠标准将其分为五个不同的睡眠阶段（W，N1，N2，N3 和 REM）。然而，人工分期方法是十分费时费力的。所以许多研究人员尝试开发自动睡眠分期方法。

动机

2.1 挑战

2.1.1 显著性波形的捕获

现有大多数模型无法直接捕获原始信号中的显著性波形。根据 AASM 睡眠标准，不同的睡眠阶段的生理信号通常有不同的显著性波形。例如，图 1 展示了 N2 期的显著性波形：睡眠纺锤波和 K 复合波，而 N3 期的显著性波形是 δ 波。现有工作大多通过间接的提取特征来捕获显著性波形。

例如，信号的时频特征可以在一定程度上反映显著性波形特征。原始生理信号被转换为时频图像，作为睡眠分期深度学习模型的输入。虽然上述方法间接地捕获了信号的特征，但手动提取的特征不仅需要先验知识，而且还可能导致部分信息丢失。

2.1.2 多尺度睡眠过渡规则提取

多尺度的睡眠过渡规则未被很好的利用。在睡眠过程中，人的大脑在不同的睡眠阶段之间经历着一系列的变化。这些变化的模式被概括为睡眠标准中的过渡规则。睡眠专家通常根据这些规则，结合其邻近的睡眠阶段来确定当前的睡眠阶段。

图 2 展示了 AASM 睡眠标准中的睡眠过渡规则具有的多尺度特性。为了捕获睡眠过渡规则，一些包含 RNN 的混合模型经常被使用。然而大多数现有的工作忽略了对睡眠过渡规则的多尺度特征的显式捕捉。此外现有模型表明 RNN 模块可以被前馈系统（如 CNN 的变体）取代，并且不会牺牲准确率。

2.1.3 多种模态对不同睡眠阶段的贡献

不同的模态对区分睡眠阶段有不同的贡献。图 1 表明 REM 和 N1 阶段的脑电波相似。然而，两个阶段的 EOG 波有很大的不同。因此，EOG 信号对 REM 和 N1 期的分类贡献大于 EEG 信号。相反，N2 和 N3 阶段的分类主要是根据 EEG 信号中的显著性波形。

因此，在识别不同的睡眠阶段时，所需的模态是不同的。为了利用这些多模态信号，研究人员通常关注多模态的互补性，并通过连接操作来合并多模态特征。这忽略了每一种睡眠模态对确定特定睡眠阶段的作用是不同的。

2.2 贡献

1. 设计了由多个嵌套 U 形单元组成的 结构流，以检测生理信号中的显著性波形，这受启发于 CV 中流行的显著性检测模型 -Net。

2. 提出了一个多尺度的睡眠过渡规则提取模块，它是由多个不同感受野的空洞卷积组成的，用于捕获多尺度规则。

3. 设计了一个多模态注意力模块，用于自适应地从不同模态数据中获取有价值的信息。

4. 实验结果表明，SalientSleepNet 达到了领域内最先进的性能。此外，与现有睡眠分期方面的深度神经网络相比，提出模型拥有最小的参数量。

问题定义

本文提出的模型接收一个序列的睡眠阶段，并输出一个预测的标签序列。每个睡眠阶段被定义为 ，其中 是一个睡眠阶段内的采样点个数， 为睡眠阶段的通道数（在本文中为 EEG 和 EOG 通道）。

输入睡眠序列可以定义为 ，其中 是一个睡眠阶段（ ）并且 是睡眠阶段的数量。

睡眠分期问题可以被定义为：学习一个基于多模态显著性波形检测网络的映射函数 ，将睡眠序列 映射到相应睡眠阶段预测序列 ，其中