CHR2C

CHR2C Net

在300W上NME为 3.30

The Proposed Method

模型结构整体分为两部分：CHR和HR2C

CHR（级联的热力图回归）:

​ 输入：原始输入图像或者上一阶段输出的特征图

​ 第一阶段：学习刚性几何变换，粗略估计可见landmark的位置

​ 第二阶端：基于可见的邻居信息学习遮挡landmark的位置。

​ 在两个阶段的中间层添加特征图丢失层，以概率f将某个标记点对应的热力图置0，这样对该标记点热力图的学习只能依靠相邻的热力图。

采用交叉熵损失来学习热力图

设置阶段数为2，更多的阶段只会带来很小的提高但是计算代价会剧增。

按顺序训练，首先训练stage1,然后使用权重初始化，级联stage2，再训练。

HR2C (热力图回归2D坐标)

从热力图中估计2D坐标，所有的热力图共享权重，回归 $L\times 2$个landmark坐标

使用$L_2$损失训练这一层

总体损失

Experiments

评估标准：NME, CED

$AU{C}_{ϵ}$ : CED曲线下方的面积，对应于人脸图像的NME小于$ϵ$的部分。

$F{R}_{ϵ}$ : 失败率，表示测试人脸图像的误差高于$ϵ$的比例。

实验配置：

1. CHR (S=1) 使用argmax从热力图中计算2D坐标

2. CHR (S=2) 使用argmax从热力图中计算2D坐标

3. CHR2C

在300W公开数据集上表现距离最好的差一点（Wing, DCFE, SHN）

同时性能上，对于三种实验配置 CHR2C > CHR(S=2) > CHR(S=1)

对于Wing 性能最好，作者这样解释，Wing引入了一种损失更关注带有小误差样本的最小化。

在300W私密数据集上，CHR2C表现性能最好。

在COFW数据集上，这个数据集平均有28%的landmark点被遮挡，人脸大多数是在前方。CHR2C性能最好 , SOTA。

在WFLW数据集上，仅仅对比了LAB，性能比LAB好，级联第二个阶段的回归器使性能提高最多。（图太长了，不贴了）

运行速度： 处理一张图像 90 ms , FPS : 11帧。