我们为生成对抗网络提出了一种替代生成器架构,借鉴了风格迁移文献。新架构导致高级属性(例如,在人脸训练时的姿势和身份)和生成图像(例如雀斑、头发)的随机变化的自动学习、无监督分离,并且它能够实现直观的、规模化的合成的特定控制。新的生成器在传统分布质量指标方面改进了最新技术,导致明显更好的插值特性,并且也更好地解开了潜在的变化因素。为了量化插值质量和解缠结,我们提出了两种适用于任何生成器架构的新的自动化方法。最后,我们介绍了一个新的、高度多样化和高质量的人脸数据集。
StyleGAN 是一种生成对抗网络。它为生成对抗网络使用了另一种生成器架构,借鉴了风格迁移文献;特别是自适应实例规范化的使用。否则,它遵循 Progressive GAN 使用渐进式增长的训练机制。其他怪癖包括它从固定值张量生成的事实,而不是像常规 GAN 中那样随机生成的潜在变量。随机生成的潜在变量在经过 8 层前馈网络转换后,在每个分辨率的自适应实例归一化中用作样式向量。最后,它采用一种称为混合正则化的正则化形式,在训练期间混合两种风格的潜在变量。
GAN 的特点是使用以下目标函数交替学习生成器和鉴别器。在这里,Generator 使用潜在 z 作为输入生成与真实图像具有相同维度的图像数据,而 Discriminator 通过最后一层的 sigmoid 函数输出一个介于 0 和 1 之间的值。
在鉴别器学习期间,生成器参数是固定的。并且判别器学会了在插入真实图像时输出 1(等式中的第一项),并学会在插入生成器生成的图像时输出 0(等式中的第二项)。换句话说,训练以最大化整个目标函数。
另一方面,在Generator学习的时候,Discriminator的参数是固定的。并且生成器被学习将等式的第二项输出为0。即D(G(z))的值被学习为1。由于第一项是固定值,因此进行训练以最小化总体目标函数。
通过这种方式,生成器和鉴别器反复学习协同工作,最终,生成器可以生成可能被误认为是真实图像的假图像。
2. GAN评价指标
因为 GAN 是无监督学习,所以没有既定的指标,如准确性或 F1 分数用于监督学习。在这里,我介绍了常用的度量标准 Frechet Inception Distance,以及 StyeGAN 提出的感知路径长度。
2.1 Frechet起始距离
Frechet Inception Distance (FID) 衡量生成图像的分布与原始图像的分布有多接近。但是,由于图像嵌入在高维空间中,因此分布的距离不容易测量.因此,FID 的基本概念是使用最近开发的精度超过人类的图像识别模型,将图像嵌入低维空间,并测量该空间中的分布距离。
定义公式如下,Wasserstein-2距离是由名为Inception V3的网络通过低维嵌入向量计算得到的。 m 和 c 是嵌入空间中的均值向量和协方差矩阵。带下标w的为生成图像,不带w的为真实图像。由于它表示分布的距离,值越小,图像看起来越像真实图像,也就是说,它表明生成器具有更好的性能。