最新 ICCV 2021 | GAN解耦学习（31）可解释性（32）生成对抗GAN

最新推荐文章于 2024-05-07 13:59:31 发布

机器学习与AI生成创作

最新推荐文章于 2024-05-07 13:59:31 发布

阅读量1.4k

点赞数 1

分类专栏：扩散模型与GAN生成对抗网络文章标签：计算机视觉机器学习人工智能深度学习 python

本文链接：https://blog.csdn.net/lgzlgz3102/article/details/124138559

版权

123 篇文章 125 订阅

订阅专栏

三十一、解耦学习

提出一个训练 GAN 的框架，可以显式控制生成的人脸图像，通过设置确切的属性（例如年龄、姿势、表情等）来控制生成的图像。大多数控制 GAN 生成图像的方法是在标准 GAN 训练后隐式获得的潜在空间以解耦属性来实现部分控制的。这些方法能够改变某些属性的相对强度，但不能明确设置它们的值。还有一些方法利用可变形 3D 人脸模型 (3DMM) 来实现 GAN 中的细粒度控制能力。
与这些方法不同，本文方法不受 3DMM 参数限制，且可以扩展到人脸领域之外。使用对比学习获得具有明确解耦的潜在空间的GAN。在人脸领域，展示了对身份、年龄、姿势、表情、头发颜色和照明的控制。还展示了在绘画肖像和狗图像生成领域的控制能力。证明了方法在定性和定量上都实现了最先进的性能。

本文介绍了一种用于构建在 GAN 潜在空间中表示的视觉概念。方法由三个部分组成：（1）基于层选择性自动识别感知显著的方向；(2) 用自然语言描述对这些方向进行人工标记；(3) 将这些标记信息分解为词汇。实验表明，方法学习的概念词汇是可靠且可组合的，并能够对图像风格和内容进行细粒度操作。

GAN 的生成，有没有可能是直接去复制训练图像？
尽管已经在理论上或经验上确定了许多因素，但数据集大小和复杂性对 GAN 是否发生复制的影响仍然未知。借助 BigGAN 和 StyleGAN2 ，在数据集 CelebA、Flower 和 LSUN-bedroom 上，本文表明数据集大小及其复杂性在 GAN 复制和生成图像的感知质量中起着重要作用。

图像分类模型可能取决于图像里多种不同的语义属性。对分类器决策的解释方面，需要发现和可视化这些属性。本文提出的StylEx，通过训练生成模型来具体解释构成分类器决策的多个属性。
关于StyleGAN 的 StyleSpace，众所周知，它可以在图像中生成具有语义意义的维度。然而，由于标准 GAN 训练不依赖于分类器，它可能无法表示那些对分类器决策很重要的属性，而 StyleSpace 的维度可能表示不相关的属性。为此提出了一个包含分类器模型的 StyleGAN 训练程序，以学习特定于分类器的 StyleSpace。然后从该空间中选择解释性属性。
将 StylEx 应用于多个领域，包括动物、树叶、面部和视网膜图像，展示了如何以不同的方式修改图像以更改其分类器输出。实验表明，该方法可以找到与语义匹配的属性。

猜您喜欢：

戳我，查看GAN的系列专辑~！

关注