论文翻译：Heart Rate Variability Extraction From Videos Singals:ICA vs. EVM Comparsion

论文《Heart Rate Variability Extraction From Videos Singals:ICA vs. EVM Comparsion》的完整翻译， 如有翻译不当之处敬请之处， 谢谢（2019年4月16号）

摘要

医学研究人员一直对心率（HR）和心率变异性（HRV）分析感兴趣。然而，如今，来自各个其他领域的研究人员也在探讨这个课题。非接触式HR和HRV测量技术的最新进展可能会进一步帮助人们借助HRV提高对情绪评估的兴趣。这些测量方法涉及通过照相机从人的面部提取光电容积脉搏波（PPG）信号。最新方法在视频记录的颜色通道上应用独立成分分析（ICA）以提取PPG信号。其他研究方法依赖于欧拉视频放大（EVM）来检测与PPG相关的皮肤颜色的细微变化。据我们所知，EVM还没有成功被应用于从人脸视频中提取HRV特征。在本文中，我们提出了两种方法，一种是基于ICA，另一种是基于EVM， 并将这两种方法进行了比较。最终结果表明，当涉及高频（HF）和低频高频（LF / HF）HRV参数[平均绝对误差（MAE）为0.57和0.419]时，所提出的基于ICA的方法比基于EVM的方法（MAE 0.76和1.69）会产生更好的结果;然而，对于低频而言，第二种方法产生更好的MAE结果和与ground truth更高的相关性。此外，我们提出的ICA方法通常通过改进HF估计显示出更好的结果，但是当涉及运动或HF成分不重要时，基于EVM的方法可能更合适。

名词索引：血容量脉冲（BVP），欧拉视频放大（EVM），心率变异性（HRV），独立成分分析（ICA），光电容积脉搏波（PPG），遥感。

1. 介绍

心率（HR）是指一个时间间隔内的心跳次数，而心率变异性（HRV）是指连续心跳之间的时间间隔的变化。HRV的变化以及其他生理特征高度反映了人类的情感维度[1]。因此，除了评估心脏问题外，HRV分析还可用于测量受试者的精神压力[2]，[3]。

测量HRV的过程可分为接触方法或非接触方法。接触方法是用于提取HRV信号的最广泛使用的技术，并且通常涉及使用直接放置在受试者身体上的传感器。这些方法可涉及测量通过ECG传感器获得的心电图（ECG）信号或通过脉冲血氧计获得的光电容积脉搏波（PPG）信号。相反，非接触式方法依赖于估计心律但是不直接放置在受试者身体上的传感器的使用者。传统上，非接触式方法涉及使用高度专业化和昂贵的传感器，如激光和微波多普勒[4]，[5]。最近，已经表明PPG信号可以被以外界光为照明源的标准数码相机测量。此外，现在可以通过简单记录的面部视频来估计HRV特征[7]，这使得进行HRV分析变得更容易，更便宜和更实用。
许多应用，例如涉及新生儿监测[8]和压力监测[9]的应用，可以通过采用远程生理测量方法来增强。在估算HR和HRV时，接触式测量设备仍然是黄金标准。但是，非接触式或远程测量技术不需要电极与主体的连接[10]，因此对于上述应用可能是更方便的测量方法。此外，基于接触传感器的HRV监测可能使受试者感到紧张或不舒服，这会在结果中产生可变性，尤其是对于情绪估计。
非接触式设备还允许在不惊扰被监测对象的情况下进行测量。 例如，这种技术可以应用于警方审讯中，以监测压力和唤醒的迹象。

本文的贡献可归纳为两点：1）介绍一种基于EVM的方法，用于从人脸视频中提取HRV参数; 据我们所知，这是第一次成功实现此目的。 2）介绍基于ICA的第二种方法。 所呈现的结果将表明，与先前的工作相比，我们提出的基于ICA的方法通过使用非接触方法产生了更准确的HRV参数估计结果。

本文的其余部分安排如下。 我们在第二部分介绍了相关工作，在第三部分介绍了提出的方法，实验结果和讨论在第四部分和第五部分，并在第六部分提供了我们的结论和未来的工作方向。

2 相关工作

可以使用几种方法实现生命体征的非接触式测量。 例如，基于激光多普勒的方法可用于通过分析角度和剪切心脏振动来测量人类受试者的心率（HR）和呼吸率（BR）[4]。另一种方法涉及使用微波多普勒，其中系统操作员控制配备有电荷耦合装置摄像机和0.6米碟的雷达系统，以将射束瞄准对象胸部的胸部区域[5]。此外，热成像可用于捕获有关主要浅表血管中血液运动的信息[11]。
然而，最近的研究表明PPG信号可以在环境光条件下使用标准数码相机进行测量[6]。Poh等人 [12]介绍了一种通过面部视频记录检测心率的方法。 该方法证明了使用相对便宜的相机的非接触式HR测量方法的实用性。

此外，Poh等人[12]提出了一种估算HRV特征和频域参数的方法[7]。 这种技术使用短距离的RGB摄像机录制; 但它的频段分辨率有限（只有红色，绿色和蓝色）。相反，Mcduff [10]建议结合青色，橙色和绿色条带以获得更好的效果。 为此，一个新颖的五频段数码相机被使用，它能够记录沿着RGB波段的青色和橙色，而不是标准的RGB相机[3]，[10]。使用该方法，可以使用替代频带来提高测量生理特征的准确度。

[7]中提出的方法使用独立分量分析（ICA）从视频中提取BVP波形。 ICA是一种用于从一组向量中隔离独立信号的技术，这些向量由这些信号的线性组合组成[13]。ICA与经典因子分析等其他方法的区别在于ICA搜索统计独立和非高斯信号[14]。

ICA适用于各个领域的许多应用[14]。例如，它可以用于脑成像，因为附着在头皮上的电极线性地组合了从各种脑源产生的信号。另一个应用是计量经济学，其中ICA用于将并行时间序列分解为独立组件以揭示有关数据集结构的信息。 ICA还用于图像特征提取，以定位非常独立的图像特征。

使用ICA [7]去恢复PPG信号，[10]是目前研究最多的方法。 然而，这种方法对光的运动和变化很敏感[15]。 在HR提取方面，EVM技术被证明是有效的[15]  -  [18]。它基于欧拉原理，指出压力和速度随时间发展，因此称为“欧拉视频放大”。 在视频中使用欧拉视角时，每个像素都会被独立处理并作为时间处理。

EVM利用局部空间池和时间滤波来提取心脏脉冲的信号[17]。 该技术允许放大由面部血管中的血流引起的皮肤颜色的细微变化[16]。 因此，该方法可用于使该现象肉眼可见。 尽管如此，使用这种方法提取HRV信号仍然是一个挑战，只有很少的尝试[15]，[18]。

3 方法

A PPG信号的恢复

我们提出了两种方法来从记录的人类面部视频中恢复PPG信号。 一种是基于ICA技术，第二种是基于EVM技术。 图1和图2提供了两种方法的概述。 这两种方法都旨在提取心脏搏动时心血管周围循环的心血管脉搏波。

在ICA和EVM方法中有几个常见的步骤。 其中之一是确定最适合使用的感兴趣区域（ROI）。 为此，我们使用面部检测算法在视频的第一帧中定位面部区域。算法生成坐标，以及描述围绕面部区域的框的高度和宽度。 在脸上，血流的最高区域是前额和脸颊[19]; 因此，盒子内最相关的区域是前额和脸颊。因此，我们选择一个以40％宽度为中心的ROI框，并围绕面部框的全高。 从第一帧获取的ROI用于所有帧以保持其稳定性，这假设在记录期间对象静止而使运动伪影最小化。

其中μi和θi分别是i = 1,2,3的平均值和标准偏差。

1）基于ICA的方法

我们总结了基于ICA的方法如下（见图1）：

1）从ROI获取原始信号。

2）从ROI中提取红色，绿色和蓝色（RGB）通道。

3）使用ROI中的所有像素对每个RGB通道进行空间平均，以产生红色，绿色和蓝色离散信号。这些信号分别表示为y 1（t），y2（t）和y 3（t），并且被称为原始元素。 在这里，我们使用[20]的方法以λ= 2000作为平滑度参数来消除原始元素，并使用等式（1）对去趋势的原始元素进行归一化。

4）使用特征矩阵（JADE）算法[21]的联合近似对角化来应用ICA技术，将原始元素分解为三个独立的源信号。 ICA有助于将观察到的原始元素与运动伪影引起的噪声分开[12]。 应用ICA时，源信号以随机顺序返回。

5）要选择最佳分量，在输出源上应用快速傅里叶变换（FFT），并选择峰值在45和180bpm范围内的峰值[10]。

6）对结果信号应用一系列滤波器。 第一个滤波器是K点移动平均值，用于使用等式（2）平滑信号，其中K = 5。

7）应用一个3db带通汉明窗口滤波器，其截止频率在0.75和3HZ之间，低频和高频分别为45和180bpm（正常人体HR范围）。

8）由于我们的实验装置被人工照明点亮，这种照明产生高频信号，干扰从视频中提取的PPG信号。 因此，需要额外的滤波来清理信号。 如果我们测量HR，那么这不是一个主要问题（因为HR涉及计算PPG峰值的数量，而不管它们之间的时间间隔）。 但是，在HRV估计的情况下，要获得R-R间隔，信号应该很干净。 因此，我们添加了一个窄IIR带通滤波器，其截止频率基于测量周期的特定HR范围。 该技术对于短的测量周期尤其有效。 值得注意的是，在许多情绪和生理评估应用中，通常使用长度为5分钟的HRV记录[2]。

9）根据III-B部分产生的信号确定minHR（最小HR）和maxHR（最大HR）。

10）使用minFreq方程（3）和maxFreq方程（4）作为截止范围，以创建窄IIR滤波器。 将IIR滤波器应用于步骤7中检索到的信号。

11）设计二阶Butterworth滤波器以衰减感兴趣频带之外的频率。 我们发现α= 5（等式（3））和β= 5（等式（4））得到了良好的结果。 我们采用Butterworth滤波器与其他IIR滤波器相反，因为它的平带通带和阻带可以帮助避免波纹。 这将阻止某些频率优于有效范围内的其他频率。

Y s是第i个数据点的输出平滑值的符号，N表示邻居的数量。 （2N + 1）是5。

其中i是测量周期，α是常数ε[0，∞）。

其中i是测量周期，β是常数ε[0，∞）。

 

2）基于EVM的方法

据我们所知，图2中所示的基于EVM的方法是使用EVM技术从面部视频中提取准确HRV特征的第一次成功尝试。 如果目标仅仅是获得HR，则从EVM放大视频中提取的绿色通道足以进行这种操作，并且不需要进一步处理。 然而，HRV信号对噪声非常敏感，因此需要更多的滤波。

以下是执行提出的EVM方法所需的步骤（参见图2）：

1）在裁剪的ROI而不是整个帧上应用EVM放大算法。

2）通过对每个像素应用傅立叶变换，并将每个不在截止（45和240bpm）之间的频率设置为零，将高斯金字塔应用于空间池和窄带通滤波器。 然后应用逆傅立叶变换重建帧。

3）使用步骤3中采用的基于ICA的方法的相同过程对每个RGB信道进行空间平均。

4）从我们的实验中，绿色通道似乎呈现最干净的PPG信号。 因此，它是选择用于进一步处理的那个。 为了降低噪声，绿色通道使用5dp移动平均值，截止频率在45和180bpm之间的3dp Hamming窗口以及具有minFreq和maxFreq作为截止频率的Butterworth带通滤波器进行滤波（基于ICA的方法使用相同的滤波器）。

 

3）ICA和EVM的HRV信号处理

由于相机帧速率的限制（我们在数据采集中使用30fps），所得到的PPG信号被认为是低分辨率的。 这将极大地影响HRV分析。 为了解决这个问题，在240Hz下实现三次样条插值（图3）。 在插值信号之后，应用峰值检测算法。 麦克杜夫等人 [10]证明0.25秒的移动窗口与接触传感器测量结果高度相关。 在窗口内检测到最高点。 如果检测到的点大于上一个窗口中的最高点并且大于下一个窗口中的最高点，则将其选择为峰值。 对整个信号重复相同的过程。

通过计算连续峰值之间的时间来提取RR间隔序列。 头部运动，光照变化和其他伪影可以通过影响RR间期来影响HRV分析的准确性。 为了减少这种误差源的影响，需要过滤HRV系列。 我们工作中使用的间隔校正基于[22]中提出的技术（图4和5）。
 

B.生理参数的定量

HR对我们的方法非常重要，因为我们使用受试者的HR范围作为滤波器的截止频率。 用于提取HR的方法基于[23]和[12]（图6）。 由基于ICA的方法输出的所选择的独立分量或来自基于EVM的方法的绿色通道信号是该阶段的输入信号。 为了丢弃不需要的频率，对信号应用带通滤波器。 在这种情况下使用IIR滤波器，更具体地是二阶巴特沃斯滤波器。 人类的正常HR范围在45到180bpm之间，因此给予滤波器的截止频率为0.75-3Hz。 之后，我们通过应用快速傅里叶变换（FFT）将时域信号转换为频率。

 

为了连续估计HR，在最后三秒信号的移动窗口中每0.5秒执行FFT过程，峰值检测和平滑过程。

选择持续时间为三秒，因为它相对于我们尝试的其他长度给出了最佳结果。 这些步骤每0.5秒执行一次，以增加HR计算的次数，稍后将对其进行平滑以提供更好的估计。 为了减少通过FFT将信号视为周期性时出现的人为高频，使用Hanning窗口使边缘为零。 在执行FFT之后，在感兴趣频带中检测到最高峰值，其是在45和180之间的HR频带。然后在FFT矢量中将检测到的峰值转换为右频率。 通过功率谱密度（PSD）估计来实现频域的HRV分析。 我们感兴趣的主要参数是低频（LF），其对应于0.04至0.15Hz，高频（HF）对应于t0 0.15至0.4Hz和LF / HF。 LF和HF参数的值被转换为标准化单位（n.u.）。

 

4  结果和评估

A.实验设置

12名受试者参加了实验。 参与者为9名男性和3名女性，年龄介于21至40岁之间。 此外，一些男性受试者有面部毛发。 实验发生在没有任何窗户的房间内，人造灯是唯一的照明来源。 使用荧光灯管，它是一种低压汞蒸汽气体放电灯，使用荧光产生可见光。 参与者被要求坐在相机前并保持静止，同时用标准数码相机（佳能XL2）以30帧/秒（fps）记录面部视频两分钟，像素分辨率为720 x 480并保存为 一个AVI文件。 然后以未压缩的格式从摄像机导出视频，以防止任何帧丢失或质量损失。使用连接到受试者胸部的Bioharness ECG传感器收集gruond truth HRV信号。 使用MATLAB（The Mathworks，Inc。）编写的定制代码分析来自接触传感器和视频记录的测量值。 开放计算机视觉（OpenCV）库[24]使用增强级联分类器[25]作为人脸检测算法。

 

B.结果

第III部分中描述的两种方法用于从录制的视频中提取PPG信号。 图7显示了从基于ICA和EVM的方法的视频中提取的PPG与来自实验中使用的ECG传感器的ground truth之间的比较。 很明显，PPG和ECG信号的RR间隔非常相似。

1）基于ICA的方法

在提取时域和频域参数之后，执行基于ICA的方法与ground truth之间的比较。 如表1所示计算平均绝对误差（MAE）。SDNN，平均RR和平均HR分别显示非常低的MAE，它们分别为008ms，0.005ms和0.006bpm。 频域参数的MAE，LF，HF和LF / HF分别为0.34n.u，0.57n.u和0.419。 为了确定我们的基于ICA的方法与ECG传感器的结果之间的一致性水平，使用Pearson的相关系数，其中n = 12。从视频中提取的参数与ground truth密切相关，平均RR为r = 0.999，LF参数r = 0.8，HF参数r = 0.84，LF / HF参数r = 0.74。 所有参数均p <0.001。

 

2）基于EVM的方法

于EVM的方法的结果显示在表2中.SDNN的MAE，平均RR，平均HR，LF，HF和LF / HF分别为0.1ms，0.006ms，0.006bpm，0.28,0.76,1.69。 Pearson的相关性也用于此方法，以确定此方法与ground truth之间的一致性水平。 大多数HRV参数高度相关，平均RR为r = 0.999，LF和HF参数r = 0.831和0.789，LF / HF为0.256。

 

 

5 讨论

在这项工作的第一种方法中，我们使用基于McDuff[10]等人的先前作品测试了我们录制的视频（人造灯是这些视频中唯一的照明光源）。如在现有技术ICA的情况和EVM的第一次尝试中所看到的，提取的信号非常嘈杂，图8导致不良结果。这是由于与PPG信号混合的高频噪声。 因此，可以说前面的方法仅在信号不是很嘈杂时才能很好地工作。

本工作中提出的两种方法旨在解决噪声问题。 基于EVM的方法比以前的方法更有效地清理信号，因此产生了良好的时域结果。 当涉及LF组分时，该方法显示出最佳结果，MAE为0.28，而所提出的ICA的MAE为0.34。还获得了基于EVM的方法与ground truth之间的LF分量与所提出的ICA与ground truth之间的相关性的更高相关性。

此外，基于EVM的方法显示了令人印象深刻的结果，但由于HF频率噪声无法与PPG信号分离，HF和LF / HF组件被破坏。 因此，所提出的ICA方法是最方便的方法，并且在时域和频域都产生了干净的信号和非常好的结果。

确实，我们提出的ICA在我们的实验中有更大的希望，但是当涉及运动或HF组件不重要时，基于EVM的方法可能更合适。
 

6  结论和未来的工作

在这项工作中，我们提出了两种从视频信号中提取HRV的新方法。 第一种方法基于独立分量分析（ICA）技术，第二种方法基于欧拉视频放大（EVM）技术。

据我们所知，这是第一个使用EVM技术从PPG信号中提取生理参数的成功方法。 该方法已经在来自不同种族，性别和肤色的12名受试者上进行了测试。 当涉及时域参数时，该方法显示出很好的结果，但是我们无法消除影响HF和LF / HF参数的高频噪声。 另一方面，基于ICA的方法解决了HF噪声问题。 与先前基于ICA的方法相比，我们提出的ICA方法在结果方面取得了巨大进步。 更具体地，该方法使得可以处理噪声信号，尤其是当仅有人造光作为照明源时拍摄的视频。 这种照明产生HF信号，干扰从视频中提取的PPG信号。

当涉及HF参数时ICA更好的原因是因为在EVM技术中使用空间池，其将附近的像素组合在一起，而ICA技术将信号分离成独立的组件，这使得信号噪声更小。 这与我们对之前的ICA方法的贡献相结合，使我们能够获得更好的结果和更少的噪声信号。 由于这项工作的主题仍处于早期阶段，因此未来的工作还有很大的空间。 该方法的一个重要改进领域是受试者的运动。 在当前的方法中，受试者需要保持静止，因为运动会产生噪声结果。 允许主体移动将为更多应用打开大门。

另一个目标是使我们在此工作中构建的HRV参数提取软件实时运行，而不仅仅是录制的视频。 如果有人想将其用于实时反馈，这将使软件更加灵活，动态和有用。

未来的主要目标是把这个方法用于非医疗领域。我们希望利用非接触式估计HRV的方法获得的良好结果，以便在不依赖于面部表情分析的情况下估计情绪。这将允许更准确的结果来估计情绪，因为受试者将无法用假表达来隐藏他们的情绪。 应用这一想法的一个很好的例子是分析参与者在政治辩论中的情绪以及帮助警方审讯。 我们还计划在本文中添加一些我们没有时间实现它的额外细节，比如所提到的不同方法之间的统计比较，我们希望进一步扩展我们的工作，增加以前的方法已经完成的工作。添加我们实验中使用的相机通道的光谱灵敏度是我们未来的计划之一，并且在处理时间，每种方法所需的最小视频帧数以及哪个面部子区域给出最高精度之间进行更详细的比较。