Attribute-Guided Face Generation Using Conditional CycleGAN

腾讯优图 2018 ECCV的一篇文章，基于attribute-guided和identity-guided的超分辨率处理，网络结构类似CycleGAN

 

Abstract

通过低分辨率的输入图和指定的属性生成满足指定属性的高分辨率输出图，相当于在CycleGAN的结构上加上了Conditional

 

这里需要高分辨率的引导图来提取属性用于超分辨率过程

 

这里不仅可以实现属性引导（发色等18种属性），还可以将identity作为引导从而实现identity-guided

 

所以实验围绕着三个部分来说：identity保留的人脸超分辨率，换脸，和正向人脸图片生成

 

 

Introduction

先是强调了本文的方法在超分辨率的过程中能过很好地保留identity，而传统的超分辨率方法不敢保证

 

然后阐述了这种基于CycleGAN的结构很好地继承了不需要paired image的优点

 

本文的主要contribution主要包括：

 

the new conditional CycleGAN to guide the single-image super-resolution process via the embedding of complex

attributes for generating images with high level of photo-realism：

 

1.attribute-guided conditional CycleGAN

（a）高分辨率的引导图，而（c）是我们要处理的输入，从（a）提取的特征向量引导（c）生成（d），而（e）是ground truth

 

2.identity-guided conditional CycleGAN

（f）高分辨率的引导图，而（g）是我们要处理的输入，从（f）提取的特征向量引导（g）生成（h），而（i）是ground truth

 

 

Conditional CycleGAN

CycleGAN

传统的CycleGAN的loss：

 

Attribute-guided Conditional CycleGAN

属性引导的CycleGAN结构如下：

 

 

输入尺度128*128的low-res Y，而Z是从high-res引导图 X 中提取的18维向量

 

GAN Loss：

 

Identity-guided Conditional CycleGAN

相对于attribute-guided，增加Daux来保证identity一致性