论文阅读:Learning Face Age Progression A Pyramid Architecture of GANs

这篇论文详尽的翻译

这篇论文的主要贡献
  1. 提出了一种基于GAN的年龄进展新方法,该方法结合了面部验证和年龄估计技术,从而以耦合的方式解决了衰老效果生成和身份提示保存的问题。
  2. 强调面部的额头和头发成分与感知的年龄密切相关,这在其他研究中是被忽略的; 它确实提高了合成年龄精度。
  3. 除了现有的验证实验,我们还建立了新的验证实验,包括基于商业面部分析工具的评估以及对表情,姿势和妆容变化的不敏感性评估。 我们的方法不仅显示出是有效的,而且在年龄发展方面具有鲁棒性。
论文亮点

1. 鉴别器
负样本有两个,分别是生成的图片和年轻的图片,正样本是真实的老化图片。

最小二乘loss如下:
在这里插入图片描述
和IPCGAN的同样是最小二乘loss进行对比:
在这里插入图片描述
引入了特征提取器φage,以提取面部表现的与年龄相关的特征。见下图的Pyramid of age-specific features:
在这里插入图片描述
φage经过了VGG-16结构的年龄估计的多标签分类任务的预训练,沿着金字塔层次结构,φage逐渐从精确的像素值捕获属性,直到捕获到特定年龄的高级语义信息。它从2,4,7,10四层中提取feature map,通过路径最终被连接起来得到D(φage(x)),和Label进行比较。如下图:
在这里插入图片描述
这样一种多尺度的提取特征方式使得每个尺度都可以选择自己着重观察的特征,融合的思想使结果更为准确。

2. 身份保持
使用了能较好地提取人脸特征的网络deep face descriptor,对原图和生成的人脸特征计算欧几里得距离。公式如下,d是特征表示之间的平方欧几里得距离:
在这里插入图片描述
IPCGAN中,身份保持模块使用的是一个感知损失:
在这里插入图片描述
其中h(.) 是在一个预训练好的神经网络中的特定的特征层中取出的特征。

不用像素空间上的x和他的指定年龄生成脸G(x|C_{t})之间的均方误差(MSE)的原因是,指定年龄生成脸包括在头发颜色、胡须、皱纹、后移的发际线等的变化,因此他跟x变得不同了。MSE loss 会使G(x|C_{t})与x接近。在相同的特征空间,perceptual loss 使得生成的图片很接近输入人脸的特征。
从一个合适的层h(.)取得特征对于保留身份信息来说是非常重要的。在风格迁移中的实验显示,底层的特征层更加擅长保持原来的内容,高层的层更能保持像颜色,质地等的风格。所以采用一个预训练的神经网络的lower feature layer来作为h(.)。为了平衡生成图片的质量和人脸的身份信息,论文在第四节取用了在ImageNet中的Alexnet pre-trained的fc7到conv2,并且依据经验设定h(x)为conv5层的特征。

3. pixel
除了上述损失,还采用了图像空间中像素级的L2损失来进一步弥合输入输出间隙(例如色差),公式如下:
在这里插入图片描述
其中x表示输入人脸,而W H C对应图片的shape。

4. 最终总的损失如下:
在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值