Abstract
photoplethysmography (PPG): 光体积变化描记图法
Driver Monitoring存在着诸多挑战:不同时段司机面部的光线变化(可以使用narrow-bandwidth near-infrared来减轻影响)、会侦测到很多的运动而受到干扰、低信噪比以及误检。
1. Introduction
生命迹象(Vital Signs)如心跳可以监测人的健康情况,而非接触式监测技术有具有着重要应用(新生儿、烧伤、感染),过去数十年里camera-based方法取得了与接触式监测相当的准确率。
1.1 Driver Monitoring Using Remote Vital Signs
诸多事故都是由于疲劳驾驶以及分心造成的,同时驾驶员可能出现突发心脏病。因此我们希望在这些发生以前监测并向驾驶员发出警报,避免事故发生。
1.2 Challenges and Opportunities
rPPG存在三个主要的挑战:
1.2.1 Challenge 1: Drastic Illumination Changes
可以看出,红外光下对光照突变的鲁棒性更好。
由于白天的日光、夜晚的灯光,会出现光照突变的情况,因此需要找到一个光谱范围,使得两者影响都能最小。太阳光谱中940nm出现了一个“谷”,此处日光的能量小,同时灯光为可见光,在此波段也具有很低的能量。因此光线突变带来的影响可以被滤除。
同时由于此处非可见光,因此不会影响到驾驶员。再者,光源带宽越小,BPF带宽越小,进一步滤除了光照突变。
1.2.2 Challenge 2: Low Signal-to-Noise Ratio (SNR)
camera-based方法测量得到的信号非常微弱,背景与噪声影响很大。同时相机的感受度在红外范围内进一步降低,NIR段的信号比可见光波段的低很多,因此需要对噪声更鲁棒的算法。
作者使用了SparsePPG方法进行降噪,该方法基于脉动信号在频域稀疏并且在面部区域低秩(low-rank)的前提。同其他需要多波长光线达到鲁棒效果的方法不同,作者的方法只需要narrow-band illumination以及单通道图像。
1.2.3 Challenge 3: Large Motion
由于车身抖动、驾驶员扭头观察、光线抖动,会出现很多large motion,造成rPPG的错误估计。
作者的方法有两个关键点:第一是使用面部对齐(face alignment or face landmark localization)以及面部区域跟踪(facial region tracking)来补偿运动,第二是利用傅里叶变换的稀疏性利用运动特征分离出真正的峰值。
1.3 Contributions
- 探索基于相机的生命体征监测在驾驶员监控系统的应用
- 940nm动态光照
- SparsePPG算法,实现了较好的降噪
- 发布了第一个包含NIR与RGB的数据集
- 达到了较高的准确率
2. Related Work
此处省略。
3. SparsePPG
3.1 The rPPG signal model
对信号进行建模,(1)为时域模型,(2)为频域模型,(3)为忽略了系统响应的模型。
3.2 Denoising the rPPG signals
将P分为三个部分,并且噪声N可以拆分为两部分,其中inlier为正常数据、可以被模型描述的数据,outlier为异常数据、无法被模型描述的数据。
为了从P中得到我们想要的Y并且抑制outliers,我们使用RPCA(鲁棒主成分分析)方法,将其建模为一个最优化问题,其中要求S的
l
1
l_1
l1范数数值尽可能小,让我们期望的解变成一个稀疏解。
3.3 Sparse spectrum estimation
先前的Z可以用(6)中的矩阵形式来表示,我们需要从Z中计算得出X和E,作者提出了如下最优化方法从Z中计算得到X和E:
3.4 Fusion of Time Windows
这一部分主要讲的就是窗的融合,原本的
P
\mathbf{P}
P可以由两部分组成,第一部分为在先前窗出现过并且在当前窗也存在的部分(也就是当前窗与先前窗的重叠部分),第二部分为新的rPPG数据。为了更好地抑制噪声,作者提出了窗的融合
P
ˉ
=
α
P
+
(
1
−
α
)
[
Y
o
~
P
n
]
\bar{\mathbf{P}}=\alpha\mathbf{P}+(1-\alpha)\begin{bmatrix}\tilde{\mathbf{Y}_o}\\\mathbf{P}_n\end{bmatrix}
Pˉ=αP+(1−α)[Yo~Pn],其中
Y
~
=
F
−
1
X
\tilde{\mathbf{Y}}=\mathbf{F}^{-1}\mathbf{X}
Y~=F−1X,将输出也融入了窗中,并增加了比例因子
α
\alpha
α,借此提高鲁棒性。
3.5 Preprocessing to Reject Facial Regions
不是所有的面部区域都能提供好的信息,因此需要进行预处理。作者提出通过判断最可能出现最多噪声的面部区域,进而在处理前将它们去除,丢弃的标准有两个:信噪比低于阈值、峰值高于阈值。在每个窗中都会有不同的面部区域被丢弃,因此在3.4部分的窗融合之前,需要对
X
\mathbf{X}
X进行重构,使用的方法为利用邻近的区域进行插值重构。
3.6 Implementation Details
一些实验具体参数的设置。
4. Experimental Evaluation and Results
分三部分:使用窄带940nm光照进行rPPG测量的可行性,NIR相比RGB的优势,在车辆场景中测量心率的挑战。
4.1 HR estimation in 940 nm illumination
图7展示了实验的设置,包括在实验室环境以及汽车内。
与SOTA方法的对比,采用两个指标:RMSE(root mean squared error)和PTE6(percentage of time that the HR error is less than 6 bpm in %)
4.2 Varying Illumination in the Lab
展示了三种光照条件,长亮/长暗/明暗快速交替,可以看出IR的效果远好于RGB。
4.3 Challenges in a Moving Car
主要来自于两个方面:头部的大幅度动作,光照的剧烈变化。
4.3.1 Motion in the Car
运动幅度过大时,tracker跟踪会失效,需要重新检测。
4.3.2 Illumination Variation in the Car
5. Conclusions
940nm NIR照明的可行性,提出SparsePPG,对误差来源进行分析。