【rPPG】全自动睡眠期间基于摄像头的脉搏血氧仪（建模方法非深度学习）

论文地址：Fully-Automatic Camera-Based Pulse-Oximetry During Sleep (2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops)
提前声明： 因为帖主只是做深度学习的，课题原因读了一下这篇比较开山的来自飞利浦关于rppg的工作，后来也不做这个了。由于最初涉及这个领域读起来比较难，由于很多很细节难懂的传统方法，希望给大家读起来稍微容易一点。有些细节可能理解不到位，希望指正。（写到后面烂尾了，有时间再填，私密马赛）
相关领域： rPPG、睡眠监测、脉搏和血氧估测

远程光电容积脉搏波 (rPPG) 通过使用多波长相机检测人体皮肤表面脉冲引起的细微颜色变化，实现对人体心脏活动的非接触式监测。

1 摘要

目前对睡眠监测的常规方法需要在夜间观察性期间研究，将许多传感器安装在患者身上，这限制了患者的活动性并引起了压力和不适。摄像头在远程监测脉搏频率(pulse rate)、呼吸(respiration)和血氧饱和度(oxygen saturation)方面显示出潜力，这也许能够减少传感器的数量。将这些技术应用于睡眠环境具有挑战性，因为预先不知道皮肤的哪一部分将可见(关灯实验)，在可见光范围之外皮肤没有唯一的颜色(红外摄像头，和RGB有些不同)，并且红外中的脉动性较低。我们提出了一种全自动的活体组织检测方法，以实现在睡眠期间对脉率、血氧饱和度进行持续监测。该系统在一个模拟了各种典型睡眠场景的数据集上进行验证。结果表明，所提出的方法在特别是血氧饱和度估计方面优于当前的最新技术水平。

2.1 实验设置

实验设置包括三台相同的单色摄像机，型号为Allied Vision Technologies GmbH的Manta型号，以15fps的同步速度捕捉帧，分辨率为968×728像素，位深为8位。每台摄像机配备有14mm镜头和光学滤光片，以捕捉光谱中的特定部分。对于我们的基准数据集，使用中心波长分别为760、800和890nm的滤光片。选择这些波长的原因有两点：1）在黑暗中（即睡眠场景）测量生命体征的临床需求；2）波长之间足够间隔，以在不同通道之间提供足够的振幅和SpO2对比，同时仍保持在相机传感器的光谱敏感性范围内。三台摄像机垂直放置在受试者上方的枕头上，与受试者的距离为1.7m，选择这样的距离是为了使摄像机覆盖床的典型宽度，如上图所示。通过仿射变换注册帧。作为参考，一个脉搏血氧仪（Philips M1191B）连接到右手食指上，并连接到Philips MP50患者监视器，其数据与视频数据同步存储。在受试者头部两侧距离为1.6m处放置了两个白炽灯泡的光源，用于提供漫反射、均匀的照明。由于它们覆盖了所选波长，并且在录制时，我们无法获取满足我们对均匀性要求的限于近红外的光源，因此使用了宽带光源。

2.2 数据集描述

为了模拟真实的睡眠场景，我们让5名健康志愿者以不同的仰卧姿势睡觉。三种主要的睡姿是侧卧、仰卧和俯卧，其中侧卧是最常见的。由于趴着睡觉会导致所有皮肤像素被遮挡，因此不包括在其中。除了不同的睡眠姿势外，我们还要求受试者进行帧外运动，从仰卧位到直立位，以模拟离床事件，并验证方法重新捕捉ROI的能力。在测量前获得了机构审查委员会的批准和知情同意。

2.3 基准方法

和四个基准方法做了对比

2.4 评估指标

对于150个样本的每个评估窗口，利用心脏脉搏信号和氧饱和度的以下度量来评估不同方法的性能。
脉搏：信噪比（SNR）、 平均绝对误差（MAE）、均方根误差（RMSE）、 覆盖率（C）
血氧饱和度：MAE、 MedAE、PERC

3 方法描述

对于我们的睡眠监测应用，感兴趣区域（ROI）检测的三个最重要的标准是：1）对睡眠姿势的不变性，2）对环境的不变性（例如枕头和床单的颜色），以及3）在ROI内排除非皮肤像素。正如后面将在本节中解释的那样，对于SpO2估计而言，第三个标准非常重要。在我们的场景中，较长时间的移动不太可能发生。因此，我们在处理管道的设计决策中主要满足这三个主要标准。所提出的处理pipeline在上图中可视化，分为五个部分。在本节中，我们将按顺序描述各种处理步骤。

3.1 预处理

输入视频，依次经过高斯平滑处理(图中1.1)、时间刚性块分割(图中1.2)。之前说像素是968728，分割成每个都是2929大小的块，一共34253*N个块，这里3是颜色通道，N是时间轴。时间窗10秒一个窗口，8秒的overlap。

3.2 脉冲提取

这里使用的是PBV模型，图形学领域的，基于模型的一个方法。

3.3 相似性映射

由于属于受试者的皮肤区域在相位和频率方面彼此共享脉冲相似性，而非生物组织则不相关。因此，创建的信号的频谱分析主要围绕着找到可用脉冲信号之间的相似性，通过计算相似性矩阵来识别活体组织。
通过使用内在信号特性进行两个预处理步骤，减少了相似性矩阵的计算负荷。我们首先将总结相似性矩阵的计算(图中3.1)，然后描述所提出的修剪步骤(图中3.2)。

(图中3.3)相似性矩阵使用由Wang等人[24]最初开发的相似性矩阵的简化和修改版本，以识别子区域的脉冲信号之间的相似性，使用四个相似性特征：频谱峰值幅度、谱相位、谱熵、内积。

3.4 感兴趣区域ROI选择

3.5 生理信号提取

4 实验结果