[论文评析]U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging,

---

论文信息

题目: U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging,
作者:Perslev, Mathias and Jensen, Michael and Darkner, Sune and Jennum, Poul J{\o}rgen and Igel, Christian,
发表: NeurIPS 2019,

值得一提的是,这篇文章的作者好像和U-Net model是同一团队的.

背景知识

一个冷知识, 人类晚上的睡眠不是一致静止的, 而是遵循Wake -> NREM -> REM -> NREM -> REM -> NREM -> REM -> …这样一种方式直至醒来, 并且睡眠的深度随着周期逐步变浅 如下图所示,

根据AASM标准, 睡眠阶段可以分为Wake(清醒), NREM(非快速眼动睡眠), REM (快速眼动睡眠), 而 NREM可以进一步分为N1, N2, N3三个阶段, 故睡眠分期可以看做是5-classes的分类任务.

当然,还有一种分类方法, 将NREM划分为了S1,S2, S3,S4四个阶段, 其中S3
,S4对应N3, 其余的和AASM标准一样.

动机

该领域的主流研究往往采用CNN+LSTM这种经典组合架构: 先通过CNN提取特征, 然后通过LSTM来建模时序依赖关系, 这种架构的缺点在于: 往往需要针对特定的task进行优化和调整,比较麻烦,也不利于部署应用.

为此,作者提出一中全卷积FCN架构的模型U-Time, 该模型接受任意长度的Inputs, 然后输出标签序列, 每个标签对应input序列中的一个segment. 怎么做到的? 首先通过一个类似U-Net的网络来获得每个time point的outputs, 然后通过一个segment classifier来聚合这些输出, 最终得到segment-level的Outputs.

方法的优势

1. 网络架构方面，提出一种简洁的FCN作为CNN_LSTM的高效替代来处理序列分类任务Sleep Staging, 没有太多花里胡稍的东西;

2. 实验评估方面统一采用subject-level划分， 在于其他方法对比时，细节处考虑周全/严谨，甚至试图尽可能提高baseline方法的Performance，不是为了发文章而发文章，

3. 所提方法在同样配置，同样超参数，同样训练行为下在7个不同的数据集/任务上都取得很好的performance, 对于工程、应用而言极其重要;

方法

Model architecture

系统架构如下图所示,
Input为由固定长度的segments组成的任意长度的,通道数为C的序列, 这里每个segment的长度i= 30 * S, S为sampling frequency, T为序列的长度,

经过Encoder+Decoder后, 得到每个time point的Score, 长度与输入相等, K为类别数.

通过Segment classifier 聚合以后, 得到每个segment的概率向量.

Network

网络架构与U-Net类似, 区别在于,为了获得更大的Receptive field, 作者使用了更大的max-pooling window和Kernel size, 这是基于对生理信号数据的理解,而非trivial parameter optimization,
# Optimization
作者对比了Cross-Entropy loss, 发现DICE loss效果更好, 定义如下:

为了应对Imbalance issue, 对于每个Batch, 作者定义了采样过程,

Evaluation

作者采用了Subjetc-levle 的Cross-Validation,

效果

作者在7个不同的数据集上进行了Experiments, 数据集的难易程度不同, 有healthy, 有患有各种睡眠障碍的, 数据规模差异也比较大.

特别值得一提的是, 在同样配置,超参数以及training pipeline下,所提方法到哦ukulele非常好的效果.

下图时对一段序列预测的可视化, 下方的Classification Score 实际上就是逐points的概率值, 这意味着: 模型实际上可以根除任意temporial resolution的预测结果(最高分辨率就是每个point一个prediction, 最低就是每个segment level一个).

总结

整体感觉就是朴实无华, 靠谱, 严谨,

更值得一提的是: 全文没有一个数学公式, 表格也只有两个, 图也只有3个, 这对于靠各种粉饰,包装文章来提升文章Level做法而言, 有很强的启示意义.

Reference

1. U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging