CHR2C Net
在300W上NME为 3.30
The Proposed Method
模型结构整体分为两部分:CHR和HR2C
CHR(级联的热力图回归):
输入:原始输入图像或者上一阶段输出的特征图
第一阶段:学习刚性几何变换,粗略估计可见landmark的位置
第二阶端:基于可见的邻居信息学习遮挡landmark的位置。
在两个阶段的中间层添加特征图丢失层,以概率f将某个标记点对应的热力图置0,这样对该标记点热力图的学习只能依靠相邻的热力图。
采用交叉熵损失来学习热力图
设置阶段数为2,更多的阶段只会带来很小的提高但是计算代价会剧增。
按顺序训练,首先训练stage1,然后使用权重初始化,级联stage2,再训练。
HR2C (热力图回归2D坐标)
从热力图中估计2D坐标,所有的热力图共享权重,回归 L × 2 L \times 2 L×2个landmark坐标
使用 L 2 L_2 L2损失训练这一层
总体损失
Experiments
评估标准:NME, CED
A U C ϵ AUC_ {\epsilon} AUCϵ : CED曲线下方的面积,对应于人脸图像的NME小于 ϵ \epsilon ϵ的部分。
F R ϵ FR_{\epsilon} FRϵ : 失败率,表示测试人脸图像的误差高于 ϵ \epsilon ϵ的比例。
实验配置:
-
CHR (S=1) 使用argmax从热力图中计算2D坐标
-
CHR (S=2) 使用argmax从热力图中计算2D坐标
-
CHR2C
在300W公开数据集上表现距离最好的差一点(Wing, DCFE, SHN)
同时性能上,对于三种实验配置 CHR2C > CHR(S=2) > CHR(S=1)
对于Wing 性能最好,作者这样解释,Wing引入了一种损失更关注带有小误差样本的最小化。
在300W私密数据集上,CHR2C表现性能最好。
在COFW数据集上,这个数据集平均有28%的landmark点被遮挡,人脸大多数是在前方。CHR2C性能最好 , SOTA。
在WFLW数据集上,仅仅对比了LAB,性能比LAB好,级联第二个阶段的回归器使性能提高最多。(图太长了,不贴了)
运行速度: 处理一张图像 90 ms , FPS : 11帧。