TPAMI 2024 | 基于面部视频的远程生理测量：自监督学习方法

题目：Facial Video-Based Remote Physiological Measurement via Self-Supervised Learning

基于面部视频的远程生理测量：自监督学习方法

作者：Zijie Yue; Miaojing Shi; Shuai Ding

源码链接： https://github.com/yuezijie/Video-based-Remote-Physiological-Measurement-via-Self-supervised-Learning

---

摘要

面部视频基础的远程生理测量旨在通过分析人类面部视频来估计远程光电容积脉搏图（rPPG）信号，并从rPPG信号中测量多种生命体征（例如，心率、呼吸频率）。最近的方法通过训练深度神经网络来实现这一点，这通常需要大量的面部视频和同步记录的光电容积脉搏图（PPG）信号来进行监督学习。然而，在实践中收集这些带注释的语料库并不容易。在本文中，我们引入了一种新颖的频率启发式自监督框架，无需真实的PPG信号即可从面部视频中学习估计rPPG信号。给定一个视频样本，我们首先通过空间增强将其增强为多个正样本/负样本，这些样本包含与原始信号频率相似/不相似的信号。具体来说，正样本是使用空间增强生成的；负样本是通过一个可学习的频率增强模块生成的，该模块对输入信号进行非线性频率转换，而不会过度改变其视觉外观。接下来，我们引入了一个局部rPPG专家聚合模块来