文献笔记：基于人脸视频和图像卷积网络的非接触心率多模态信息融合估计方法Multimodal Information Fusion Approach

一、研究内容

1.利用特征表示映射从人脸可见光和热红外视频中有效提取周期性信号；

2.为了更准确地提取roi的甄别HR信息，提出了一种时间信息感知的HR特征提取网络(THR-Net)，ta块在时域为不同的通道自动分配不同的权重，从而增强了THR-Net关注血流脉动特征的学习能力。与其他注意力模型相比，该方法能以更少的参数得到更准确的结果。

3.基于图卷积网络(GCN)，提出了一种用于特征融合和HR估计的信息融合模型。与现有的单模态方法不同，该方法使用了人脸可见光视频和热红外视频等多模态数据，有效融合了空间、时间和频率等多个域的信息，并以数据驱动的方式提取出高层表示。

二、研究工作

2.1 数据预处理

首先，利用人脸地标定位和人脸检测算法从可见光视频中提取感兴趣区域; 前额、鼻子和脸颊周围四个区域由标志的坐标确定为roi，标记为ROI1, ROI2, ROI3, ROI4。 对每个子区域的像素值进行平均，以抑制噪声，提高rPPG信号的信噪比。

假设PR(m, i, t)表示第t帧红通道第i个子区域的平均像素值，则RGB颜色空间第i个子区域的时域信号可确定如下:

在热红外视频中，人脸地标坐标的预测还缺乏有效的地标定位方法，所以利用目标检测和目标跟踪算法来寻找热红外视频中的感兴趣区域。 使用YOLOv4检测第一帧的目标ROI区域，并通过使用对象跟踪模型核相关滤波器(KCF)跟踪器对剩余帧的目标进行跟踪，以实现快速的数据预处理。 热红外视频中检测到的roi包括额头、鼻子和脸颊，分别标记为ROI5、RO I6、RO I7、and ROI8。

rPPG信号的频域特征与HR值有关，通常通过带通滤波器得到感兴趣频段内的信号。 假设HR为45-180 bpm，对应的脉搏波频率为0.75-3 Hz，利用FFT将时域信号Rmi、Gmi、Bmi变换到频域。然后，为了保持感兴趣的频段和消除噪声信号，保留0.75 ~ 3hz频率的信号，其他信号设为零。 通过反FFT (IFFT)将信号转换回时域。

2.2 时空特征图

特征提取网络的主干选用ResNet-10 对原有Res-Block进行改进，过滤出显著的时间信息，并在时域自动为不同通道赋予不同权重，增强了THR-Net关注血流脉动特征的学习能力，从而获得更准确的估计结果。

对[二维卷积-激活-归一化]子块的输出进行排列和重构。 改进后的块体结构如图所示，称为ta块。其中，对于第α个ta块，输入是由前一个ta块生成的特征图Xα，输出是时间方向的特征图Y α。

 

利用含有W个核的1-D卷积层，对判别信息进行编码。然后将F αavg输入到全连通层中，得到时间注意权值F αT。为了聚焦于时间变化信息，将f α与f αT相乘，重新分配f α的权重，生成时间感知注意图ˆf α

在乘法运算中，时间注意值沿时间维度传播，增强了有意义的时间特征，抑制了琐碎信息。

Y α = ˆFα + X α + f (X α)

f (X α)表示两个连续的[二维卷积-激活-归一化]子块操作，用于编码时空特征。

使用THR-Net模型对ST1, ST2，…进行特征编码。 结果传递到下面的多模态信息融合模型。

 

 2.3 多模态信息融合模型

基于GCN的融合方法通过图结构准确表示节点特征及其关系，从而提高融合性能，首先构造图，然后利用GCN（图卷积）模型进行特征聚合和消息通过图拓扑传递。 随后，GCN模型进行特征融合进行HR估计。 THR-Net特征被认为是节点特征，而边缘属性则通过设计多个节点之间的相似度函数来计算。这些功能包括频率相似性、位置相似性、形态相似性和感知相似性。利用图的特征传播能力，提高了HR估计的性能。

 两个节点之间的边缘属性Exm Exm = e1xm + e2xm + e3xm + e4xm

模态相似度用e1xm表示（8个节点对应8个roi，节点特征为Z1, Z2，…， Zm，…ROI1和ROI2是从面部可见光视频中截取的，它们都反映了由血容量脉搏引起的皮肤颜色变化;因此，e112 = 1。）

位置相似度用e2xm表示（因为ROI1和ROI5都是从前额裁剪的，E215 = 1。）

感知相似度用e3xm表示，通过欧氏距离来度量

频率相似度用e4xm表示

所提出的边缘属性在节点之间产生有效的潜在关联和信息流，有助于通过图卷积操作实现HR信息的聚合。

然后，引入由三层边缘条件卷积(ECC)层组成的GCN模型，在训练阶段自然融合边缘信息和节点特征。GCN模型可以融合来自不同roi和数据模式的所有信息，生成具有区别性的HR特征。 最后，求出第3层 ECC层计算的顶点特征输入到全连接层，对HR进行估计。

三、实验结果

基于gcn的多模态信息融合方法中，这些分支的所有输出的融合分别将MAE（平均绝对误差）和RMSE（均方根误差）提高到1.734和2.868。MMVS数据集的ρ值（皮尔森相关性）为0.976，表明估算的HR值与实际值之间具有较高的相关性。

 蓝色和红色的点分别代表PPG采集设备采集到的HR真值和相应的预测值;x轴为时间窗指标，y轴为HR值。结果表明，预测的hr接近实际情况。