文献笔记：RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation

一、研究背景与意义

从人脸视频中进行远程HR估计具有广泛的应用，但由于头部运动、照明和传感器多样性的变化，在约束较少的场景中，这是一个具有挑战性的问题。

1.在本文中，提出了一种端到端的RyhthmNet，用于从人脸进行远程HR估计。在RyhthmNet中，时空分布图表示的来自多个ROI区域的HR信号作为其输入，进行HR估计。

2.还考虑了通过门控循环单元(GRU)从视频序列中获得的相邻HR测量的关系，从而实现高效的HR测量。

3.此外，还构建了一个大规模的多模态HR数据库(命名为VIPL-HR1)，包含了107名受试者的2,378个可见光视频(VIS)和752个近红外视频(NIR)。VIPL-HR数据库包含各种变化，如头部运动、照明变化和采集设备变化，为HR估计复制了一个较少约束的场景。该方法在公共领域和我们的VIPL-HR数据库上都优于最先进的方法。

二、研究内容

（1）VIPL-HR数据库

1.数据收集：人脸视频记录条件应涵盖环境照明、受试者姿态、采集传感器以复制日常应用场景。

从直方图中，我们可以看到受试者的最大旋转幅度变化很大