PaddlePaddle论文复现营——StarGAN v2论文解读

一、提出背景

论文作者认为：一个好的图像到图像的GAN模型，同时满足以下特性：
1）生成图像的多样性。既生成的图像不能太单一，具有一定的丰富性。
2）多领域的适应性。及能迁移人脸分割，也能在宠物图像上取得良好的效果。
现有的方法难以同时满足以上两点要求，因此们提出了StarGANv2。经过在CelebAHQ和AFHQ数据集上测试，表明在图像质量、多样性和可扩展性方面均具有一定优势。此外，作者提出了一个新的动物脸数据集（AFHQ），数据质量较高且变化丰富，并将这个数据集公开发布给研究社区。

二、重要概念

作者对域（domain）和风格（style）冠以比较广泛的定义。

• 域：一个图像集合，其中的图片可以被分类为同一种具有视觉区分度的类型。例如男、女、猫、狗等。
• 风格：每个图像具有的独特外观。风格则可以涵盖很多内容，比如妆容、胡子、发型等。

三、核心思想

在以前的方法中，传递迁移的条件信息是通过将属性向量输入到网络中来实现的，而本文介绍的方法没有采用这种方式，而是结合AdaIN来实现迁移的，即在feature map层面上将源图的数据分布匹配到style的分布上。
网络结构分为四个模块：生成器、多任务映射网络、多任务风格编码器和多任务判别器。
每个域的style code可由映射网络或风格编码器生成，两者的输出端都是多分支&