paper7:Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis 2017NIPS

Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis
一．摘要
背景：
合成真实侧脸image，通过填充极端姿态的样本，避免繁琐的注释，可以更有效的训练用于大规模无约束人脸识别的姿态不变模型。
Problem：由于合成图像和真实图像的分布差异，导致从合成face中学习实现的性能不好。
Solve ：为了解决这个gap，提出了一个dual-agent generative adversarial net （DA-GAN）
Advantage：这种方法可以使用未标记的face提高人脸模拟器输出的真实感，在细化真实感的同时保存身份信息。这种dual agent 是专门为同时区分fake和real和身份而设计的。
Ways:

• 使用一个off-the-shelf3Dface model 作为模拟器，生成具有不同pose的侧脸人脸图像。
• DA-GAN利用全卷积网络作为生成器生成高分辨率image和一个auto-encode作为dual-agent判别器。
• 除了新的结构，还对标准的GAN做了关键的改进：
  （1）姿态感知损失（2）身份感知损失（3）具有边界平衡正则化项的对抗损失。
  实验结果：不仅展示出了令人信服的结果，而且在大规模且具有挑战性的IJB-A（一种无约束的人脸识别基准）测试中，在识别（1：N）和验证（1:1）中获得双冠军。
  二．介绍
  背景：无约束的人脸识别在实验中由于无法为监督学习提供大量标记的数据变得具有挑战性。
  一般的数据集中正脸图片的数量呈现多数，而侧脸图片的数量则分布在尾部，导致侧脸识别的性能不高。侧脸和正脸的数据分布变成了姿态不变人脸识别的主要阻碍。
  
  Solve：为了解决这个问题，尝试研究使用合成的侧面人脸图像作为补充额外数据，以平衡姿态的变化。
  阻碍：人工合成的image和真实人脸的image的分布差异，人工合成的数据往往不够真实，存在严重的纹理损失。低质量的合成人脸图像会使得学习的人脸识别模型对合成图像中出现的虚假信息过度拟合，无法更好的推广到真实人脸。如果可行的话，强行增加模拟器的真实感在时间和人力方面是很昂贵的。
  DA-GAN：
• dual-agent focus on 使用未标记真实数据从一个模拟器中合成侧脸image 判别它的真实感和感知身份信息。生成器需要同时对抗真假判别器和身份判别器，才能生成对无约束人脸识别有用的高质量人脸。
• 通过一个3D人脸模拟器生成了预先指定姿态的合成侧脸的face image。DA-GAN将这个合成face image 作为input，通过生成模型进行细化。利用全卷积网络（FCN）以像素级作为生成器，生成高分辨率的人脸图像。
• DA-GAN引入了一种辅助识别代理，用于强制生成器保存生成的人脸的身份信息。
• DA-GAN增加了一个pose perception loss 去保存姿态和纹理。
  DA-GAN和其他模型的区别：
  DA-GAN的目标是合成真实感和身份保留的侧脸image以解决在无约束人脸识别中大方差问题。
  TP-GAN尝试从侧脸image中恢复正脸image
  TP-GAN缺点：存在分类信息损失，限制了其促进识别性能的有效性。
  三．Dual-Agent GAN
  1.simulator
  Problem：无约束人脸识别的主要挑战是每个侧脸image的数量少且姿态差异较大，这是学习姿态不变模型的主要障碍。
  Solve：用先前的预定义的poses(yaw.angles)模拟face image
  Aim:显式的增加可用的训练数据，而不需要额外的人工注释，并平衡姿态分布。
  新的问题：在large pose下，模拟器的性能急剧下降。【-90，-60】【60,90】由于伪影和严重的纹理损失，导致网络对合成图像中出现的虚假信心过度拟合，无法很好地对真实数据进行泛化。
  2.Generator
  生成器学习一个高度的非线性转换来细化侧脸图像。修改了resnet用在基于FCN的生成器中。基于FCN的结构会使得图片具有更高的分辨率。
  三、损失函数
  
  Lpp是用于保存pose和纹理信息的pose感知损失，像素损失
  
  对合成的侧脸图像进行细化前后的对比分析
  遍历 生成的侧脸和原始输入图像的像素，像素损失会导致过于平滑的效果，但是会加速优化。
  为了增加合成图像的真实感，真正提高人脸识别性能，我们需要缩小合成图像和真实图像分布之间的差距，理想的无约束人脸识别方法是利用深度神经网络在特征空间中生成类内距离小、类间距离大的精细人脸图像
  Lip鼓励属于同一身份的精细人脸图像的深层特征彼此接近。
  是一种分类交叉熵损失，判断真假图片的分数值然后分类，指定标签。
  四、结构
  
  generator：随机检测一张未标记人脸图像，然后进行人脸检测，检测出68个标记点，然后用3D人脸模型进行模拟，用之前预先设置好的yaw angles模拟出不同的姿态模型。由此实现2D关键点到3D人脸模型的转换。将生成的不同角度的侧脸图像feed进生成器网络，进过卷积+10个残差块+降维，输出进过refine后的侧脸图像，生成过程也就是卷积过程经过损失函数的约束，使得模拟器输出的图片更加的精细和真实，将refine后的图片和带有标签的图片
  discrimination：为了引入侧脸数据分布的先验知识和身份分布的领域知识采用了two-pathway，将refine后的image和真实的有标签的数据feed入two-pathway的判别器。第一个路径提取特征，然后对input image的特征进行分类，给refine后的image给予标签。第二个路径，提取input image的特征卷积然后反卷积，分辨refine图像和真实image的真假。（真假图片送入卷积，提取高维特征，对特征进行encode为抽象的数字，然后用encode后的code进行生成图像，此时真图片所提取的feature生成了image 然后计算a=y-y’ 就是计算真的image用机器学习并且重新生成的image 之间的差，类比fake image 一样的操作，然后计算b=x-x’，就是计算generator refine之后生成图片和以refine image作为input 经过机器学习之后生成的图片，计算差值，最后最小化优化a-b的值，使得真实图片和fake图片一样真，从另外一种思路，判断真假图片）
  观测收敛：
  利用边界平衡的概念，测量了DA-GAN的收敛性
  把收敛过程frame为一个最接近的重构
  
  五、总结
  refine 3D人脸模拟器的生成图片，然后用判别器进行判别和id preserve