CHR2C

CHR2C Net

在300W上NME为 3.30
在这里插入图片描述

在这里插入图片描述

The Proposed Method

模型结构整体分为两部分:CHR和HR2C

CHR(级联的热力图回归):

​ 输入:原始输入图像或者上一阶段输出的特征图

​ 第一阶段:学习刚性几何变换,粗略估计可见landmark的位置

​ 第二阶端:基于可见的邻居信息学习遮挡landmark的位置。

​ 在两个阶段的中间层添加特征图丢失层,以概率f将某个标记点对应的热力图置0,这样对该标记点热力图的学习只能依靠相邻的热力图

采用交叉熵损失来学习热力图

在这里插入图片描述

设置阶段数为2,更多的阶段只会带来很小的提高但是计算代价会剧增。

按顺序训练,首先训练stage1,然后使用权重初始化,级联stage2,再训练。

HR2C (热力图回归2D坐标)

从热力图中估计2D坐标,所有的热力图共享权重,回归 L × 2 L \times 2 L×2个landmark坐标

使用 L 2 L_2 L2损失训练这一层

在这里插入图片描述

总体损失

在这里插入图片描述

Experiments

评估标准:NME, CED

A U C ϵ AUC_ {\epsilon} AUCϵ : CED曲线下方的面积,对应于人脸图像的NME小于 ϵ \epsilon ϵ的部分。

F R ϵ FR_{\epsilon} FRϵ : 失败率,表示测试人脸图像的误差高于 ϵ \epsilon ϵ的比例。

实验配置:

  1. CHR (S=1) 使用argmax从热力图中计算2D坐标

  2. CHR (S=2) 使用argmax从热力图中计算2D坐标

  3. CHR2C

在这里插入图片描述

在300W公开数据集上表现距离最好的差一点(Wing, DCFE, SHN)

同时性能上,对于三种实验配置 CHR2C > CHR(S=2) > CHR(S=1)

对于Wing 性能最好,作者这样解释,Wing引入了一种损失更关注带有小误差样本的最小化。

在这里插入图片描述

在300W私密数据集上,CHR2C表现性能最好。

在这里插入图片描述

在COFW数据集上,这个数据集平均有28%的landmark点被遮挡,人脸大多数是在前方。CHR2C性能最好 , SOTA。

在WFLW数据集上,仅仅对比了LAB,性能比LAB好,级联第二个阶段的回归器使性能提高最多。(图太长了,不贴了)

运行速度: 处理一张图像 90 ms , FPS : 11帧。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值