CVPR 2019 | STGAN: 人脸高精度属性编辑模型

AttGAN 和 StarGAN 在人脸属性编辑上取得了很大的成功，但当人脸属性之间相互交集或者目标人脸属性比较复杂时，这两种方式对于控制属性的标签上的精细化就显示了些许的不足。STGAN 是一个建立在 AttGAN 基础上的人脸属性编辑模型，通过差分属性标签下选择性传输单元的跳跃连接实现了人脸高精度属性的编辑。

作者丨武广

学校丨合肥工业大学硕士生

研究方向丨图像生成

论文引入

图像编辑是计算机视觉下有趣但也具有挑战性的工作，随着生成对抗网络的发展，图像编辑取得了长足的发展，任意属性编辑实际上也转换到了多域图像到图像变换任务。类似于 CycleGAN 和 Pix2Pix 等此类单个翻译模型已经取得了一定的成功，但是它在利用整个训练数据方面是无效的，并且学习的模型随着属性的数量呈指数增长。为了解决这个问题，多属性的图像变换模型逐渐涌现，其中最为有名的则是 AttGAN [1] 和 StarGAN [2] 了。 

这两个模型都是架构在编码器 - 解码器上，同时将源图像和目标属性向量作为输入，AttGAN 不是对潜在表示施加约束，而是对生成的图像应用属性分类约束，以保证所需属性的正确变化，同时引入重建学习以保留属性排除细节。StarGAN 只用一个 generator 网络，处理多个 domain 之间互相 generate 图像的问题，这是比 AttGAN 更深一步的人脸属性迁移。 

STGAN 是建立在这两个模型基础上的人脸高精度属性编辑模型，我们先看一下这三个模型生成的人脸对比：

从上图可以看出这三个模型下虽然所有属性都保持不变，但 AttGAN 和 StarGAN 在结果中可以观察到不必要的变化和视觉退化，造成这种结果的主要原因在于编码器 - 解码器的结构限制和目标属性的使用矢量作为输入。STGAN 仅考虑要改变的属性，以及在用解码器特征编辑属性无关区域时选择性地连接编码器特征。 

仅考虑要改变的属性通过目标和源属性标签之间的差异作为编码器 - 解码器的输入；提出了选择性传输单元（STU）来自适应地选择和修改编码器特征，其进一步与解码器特征连接以增强图像质量和属性操纵能力。

总结一下 STGAN 的优势： 

• 将差异属性向量作为输入，以增强属性的灵活转换并简化训练过程；

• 设计选择性传输单元并与编码器 - 解码器结合，以同时提高属性操作能力和图像质量；

• 实验结果上，STGAN 在任意面部属性编辑和图像翻译方面取得了很好的效果。

Skip Connection

skip connection 在 UNet 下被广泛使用，翻译过来的话可以称为跳跃连接，skip connection 已经在图像语义分割上得到了广泛的应用，同时也不仅仅是限于 UNet 的设计框架下。

STGAN 将 skip connection 应用在模型中，我们知道人脸属性编辑上的架构采用编码器 - 解码器结构，其中空间池化或下采样对于获得属性操纵的高级抽象表示是必不可少的。

然而，下采样不可逆地降低了空间分辨率和特征图的细节，这些细节无法通过反卷积完全恢复，并且结果容易模糊或丢失细节。为了提高编辑结果的图像质量，skip connection 自然而然的被想到应用在结构中。 

为了分析 skip connection 的影响和限制，作者在测试集上测试了 AttGAN 的四种变体：

• 没有 skip connection 的 AttGAN (AttGAN-ED)；

• 具有一个skip connection (AttGAN) 也就是原版的 AttGAN；

• 具有两个 skip connection 的 AttGAN (AttGAN-2s)；

• 具有所有对称 skip connection 的 AttGAN (AttGAN-UNet)。

下表和下图显示了对比实验的结果：

可以看出，添加跳过连接确实有利于重建细节，并且随着 skip connection 的增加可以获得更好的结果。然而，作者又做了人脸属性添加上的对比性实验：

通过分类准确率可以看到，添加多个 skip connection 却实现了降低指标的作用，我们可以猜测通过 skip connection 的部署弱化了属性操纵能力为代价改善了重建图像质量，主要归因于该跳过连接直接连接编码器和解码器特征。为了避免这种情况，STGAN 采用选择性传输单元来自适应地转换由要改变的属性引导的编码器特征。