高丽大学等机构联合发布StarGAN：利用生成式对抗网络自定义表情和面部特征 | 附PyTorch代码实现

原文来源：arXiv、GitHub

作者：Yunjey Choi、 Minje Choi、Munyoung Kim、Jung-Woo Ha、Sung Kim、Jaegul Choo

「雷克世界」编译：嗯~阿童木呀、哆啦A亮

最近的研究表明，两个域之间的图像到图像转换取得了显著的成功。不过，现有的方法在处理两个以上的域时在可扩展性和鲁棒性方面存在局限性，因为应该为每一对图像域独立地构建不同的模型。为了解决这个限制，我们提出了StarGAN，这是一种全新的、可扩展的方法，可以仅使用一个模型为多个域执行图像到图像转换。StarGAN这样一个统一的模型架构能够使得我们在一个单一网络中同时对不同域的多个数据集进行训练。这导致StarGAN转换图像的质量要优于现有模型，并且具有将输入图像灵活转换为成任何期望目标域的新颖能力。根据经验，我们证明了该方法在面部属性迁移和面部表情合成任务上的有效性。

 

图1：在CelebA数据集上通过传递从RaFD数据集中学习到的知识进行多领域的图像到图像的翻译结果。第一列和第六列显示输入图像，而其余的列是由StarGAN生成的图像。请注意，图像是由一个单一的生成器网络产生，面部表情标签，如愤怒、快乐和恐惧，来自RaFD，而不是CelebA。

图像到图像转换的任务本质是将给定图像的一个特定方面改变为另一种样子，例如，将人的面部表情从微笑改变为皱眉（参见图1）。在引入生成对抗网络（GAN）之后，这个任务经历了重大改进，生成结果包括改变头发颜色、从边缘映射重建照片、改变风景图像的季节等。

给定来自两个不同域的训练数据，这些模型学习如何将图像从一个域转换到另一个域中。我们将术语属性表示为诸如头发颜色、性别或年龄等这些图像中固有的有意义的特征，而将属性值作为属性的特定值，例如头发颜色的黑色/金色/棕色，或性别的男性/女性。我们进一步将域表示为一组共享相同属性值的图像。例如，女性的图像可以代表一个域，而男性的图像则代表另一个域。

一些图像数据集带有一些标注属性。例如，CelebA数据集包含40个与面部属性相关的标签，如头发颜色、性别和年龄，而RaFD数据集有8个面部表情标签，如开心、生气、伤心。这些设置使我们能够执行更多有趣的任务，即多域图像到图像转换，其中我们根据来自多个域的属性来更改图像。图1中的前五列显示了一个CelebA图像是如何根据“金发”、“性别”、“老年”和“苍白皮肤”四个域中的任何一个进行转换的。我们可以进一步扩展到从不同的数据集中训练多个域，如联合训练CelebA和RaFD图像，从而使用在RaFD训练过程中学习的特征来改变CelebA图像的面部表情，如图1最右边的一列。

然而，现有的模型在这种多域的图像转换任务中效率不高且效果不好。它们效率不高主要是由于为了学习k个域之间的所有映射，必须训练k（k-1）个生成器。图2说明了十二个不同的生成器网络如何被训练以在四个不同的域之间进行图像转换。于此同时，它们效果也不好，即使存在诸如面部形状这样可以从所有域的图像中得以学习到的全局特征，每个生成器都不能充分利用整个训练数据，只能从k个中的两个域中进行学习。未能充分利用训练数据可能会限制生成图像的质量。此外，由于每个数据集都已部分标注，所以他们无法联合训练来自不同数据集的域。

 

图2.跨域模型和我们提出的模型StarGAN之间的比较。(a)为了处理多个域，应该为每对图像域建立跨域模型(b)StarGAN能够使用单个生成器学习多个域之间的映射。该图表示连接多个域的星形拓扑。

作为解决这些问题的一个方案，我们提出StarGAN，一个能够学习多个域之间映射的生成式对抗网络。如图2(b)所示，我们的模型接受多个域的训练数据，并且只使用一个生成器即可学习所有可用域之间的映射。这个想法很简单，我们的模型不是学习固定转换（例如，黑色到金色的头发），而是将图像和域信息作为输入，并学习将输入图像灵活地转换成相应的域。我们使用标签（例如，二进制或独热向量）来表示域信息。在训练过程中，我们随机生成一个目标域标签，训练模型以灵活地将输入图像转换为目标域。通过这样做，我们可以控制域标签，并在测试阶段将图像转换成任何期望的域。