文献笔记：基于人脸视频和图像卷积网络的非接触心率多模态信息融合估计方法Multimodal Information Fusion Approach

一、研究内容

1.利用特征表示映射从人脸可见光和热红外视频中有效提取周期性信号；

2.为了更准确地提取roi的甄别HR信息，提出了一种时间信息感知的HR特征提取网络(THR-Net)，ta块在时域为不同的通道自动分配不同的权重，从而增强了THR-Net关注血流脉动特征的学习能力。与其他注意力模型相比，该方法能以更少的参数得到更准确的结果。

3.基于图卷积网络(GCN)，提出了一种用于特征融合和HR估计的信息融合模型。与现有的单模态方法不同，该方法使用了人脸可见光视频和热红外视频等多模态数据，有效融合了空间、时间和频率等多个域的信息，并以数据驱动的方式提取出高层表示。

二、研究工作

2.1 数据预处理

首先，利用人脸地标定位和人脸检测算法从可见光视频中提取感兴趣区域; 前额、鼻子和脸颊周围四个区域由标志的坐标确定为roi，标记为ROI1, ROI2, ROI3, ROI4。 对每个子区域的像素值进行平均，以抑制噪声，提高rPPG信号的信噪比。

假设PR(m, i, t)表示第t帧红通道第i个子区域的平均像素值，则RGB颜色空间第i个子区域的时域信号可确定如下:

在热红外视频中，人脸地标坐标的预测还缺乏有效的地标定位方法，所以利用目标检测和目标跟踪算法来寻找热红外视频中的感兴趣区域。 使用YOLOv4检测第一