![0ce717a303a132517340ceb6741833e7.png](https://i-blog.csdnimg.cn/blog_migrate/d318df7ccba30aad6b1e5289674ca1e4.jpeg)
生成对抗网络因其优异的生成质量而得到广泛的关注,然而想要得到高质量的生成结果往往需要大批量的训练数据进行加持才能训练出逼真的生成结果,这点在各大主流优秀的生成对抗网络模型下得到验证。一旦训练数据不足的情况下能否得到优秀的结果,能否让判别器不去过度拟合训练样本呢?这个问题由来自NVIDIA的研究者付诸行动并给出了一定的解决方案,本文将共同来阅读论文 Training Generative Adversarial Networks with Limited Data。
作者|武广
学校|合肥工业大学硕士生
研究方向|图像生成
论文引入
庞大的数据集在背后推动着生成模型的发展,然而为特定应用收集足够大的图像集是存在挑战的,这要求数据要对主题类型,图像质量,地理位置,时间段,隐私,版权状态等施加限制,就比如CelebA数据集,在人脸位置、质量和图像的大小都存在着严格的要求,这个要求一旦施加在上十万张图像数据集下就是很庞大的工作量。
而GAN训练的样本量往往是在
![7a95d2870045935f86f05d8598c10745.png](https://i-blog.csdnimg.cn/blog_migrate/f62f8ca7953485fa9dc3185feeaa4da4.jpeg)
图1a显示了FFHQ不同子集的基线结果,在每种情况下,训练都以相同的方式开始,但是随着训练的进行,FID开始上升。训练数据越少,越早发生。图1b,c显示了训练过程中真实图像和生成图像的判别器输出分布。分布最初是重叠的,但随着判别器变得越来越有把握,它们会保持漂移,FID开始恶化的点与分布之间失去足够的重叠是一致的。由图1c可以看到,当判别器过分拟合训练数据时,即使是真实图像的验证集也会判别和生成数据分布一致,这就是判别器过度拟合到了训练数据上的有力说明。
既然过拟合问题出现了,而且是由于数据集不足导致的,那能不能扩充数据集(旋转、加噪声)进行解决呢?
然而扩充数据集往往在训练分类器这样的判别语义信息任务是有效的,但是简单的扩充数据集在GAN中将会导致“泄漏”,这主要是由于数据集的扩充会导致GAN学习生成扩充的数据分布。
本文要介绍的论文Training Generative Adversarial Networks with Limited Data利用多样的数据扩充来防止判别器过度拟合的同时确保扩充不会"泄漏"到生成的图像中。
总结一下ADA方法在生成模型上的优势:
- ADA可以实现少样本数据下的较好质量的生成
- ADA可以保证数据扩充前提下防治数据的"泄漏"
- 自适应的判别器增强保证了模型不轻易出现过拟合,模型更加稳定
数据不充分下生成改进
数据不充分的情况下进行数据扩充无疑是最直接了当的解决方式,传统的GAN训练数据集的任何扩充都将继承到生成的图像,这无疑是数据扩充不希望得到的结果,如何解决呢?
数据扩充
平衡一致性正则化(bCR)提出了应用于同一输入图像的两组扩增应产生相同的输出,为判别器损失上添加一致性正则项,也为真实图像和生成的图像实施判别器一致性,而训练生成器时则不应用增强或一致性损失,这部分直观的理解如图2a所示。然而,bCR中生成器可以自由生成包含扩充的图像而不会受到任何惩罚,这就导致了"泄漏"的进一步增强,文章在后面实验部分也验证了bCR确实导致了"泄漏"的发生。
![bd057c13a760721a86f9b11aa0385d95.png](https://i-blog.csdnimg.cn/blog_migrate/3475aa0f3a557efba46bc04ac1e8320f.jpeg)
文章设计了一种新的扩充方式,与bCR相似也是对输入到判别器的图像应用了增强。但是,该方法并没有使用单独的CR损失项,而是仅使用增强图像来评估判别器,并且在训练生成器时也要这样做(图2b)。
文章称之为判别器增强(discriminator augmentation,DA),这种方法看上去非常简单,甚至你在乍一看都会质疑它是否可以正常工作,是不是会怀疑判别器从未看到训练图像的真实外观的情况下,能否可以正确地指导生成器(图2c)。为此,文章研究了在何种情况下DA不会泄漏对所生成图像的增强。
设计不会"泄漏"的数据扩充(DA)
[1]考虑了训练GAN时的类似问题,并表明只要隐含的过程由数据空间上概率分布的可逆转换来表示,训练就隐式地消除了损坏并找到了正确的分布,称这种增强算子为非泄漏。这些可逆变换的功能在于,它们可以通过仅观察扩充的集合来得出有关基础集合的相等性或不平等性的结论。
在图2b中,我们可以看到DA设计的时候在数据增强上(数据增强这里可以理解为数据扩充),做了增强概率
![8be3b531e5cc8981a8c9d3fb1ff11891.png](https://i-blog.csdnimg.cn/blog_migrate/4707d1986c539899c4d8b2c43ad8ed10.jpeg)
在图3中,通过三个实际示例来验证我们的分析,上方的图像代表着对应不同
实际上,由于有限采样,网络的有限表示能力,归纳偏差和训练动态,当p保持在
文章采用的数据扩充方式
文章借鉴了RandAugment [9]在图像分类任务中的成功,考虑了18种变换的流水线,这些变换分为6类:像素层(x翻转,90°旋转,整数平移),更一般的几何变换,颜色变换,图像空间滤波,加性噪声和抠图。由于在训练生成器时,也会执行增强,这要求增强是可区分的。
在训练过程中,使用一组固定的预定义变换来处理图像给判别器,增强的强度控制在
文章通过对不同的扩充类别和数据集大小对
![19f8919762d1c482e0d408a9fcd18a49.png](https://i-blog.csdnimg.cn/blog_migrate/30a577e814ada643a88e83c0deae1584.jpeg)
在许多情况下,DA可以显着改善结果,最佳增强强度在很大程度上取决于训练数据的数量,绝大多数来自像素层和几何变换上的增强,颜色转换适度有益,而图像空间过滤,噪点和裁切并不是特别有用。曲线还表明,当
根据这些结果,文章最后选择在模型设计上仅采用像素层,几何和颜色转换。图4d显示,虽然较强的增强会减少过度拟合,但也会减慢收敛速度。
实际上,当固定增强控制
自适应判别器增强(ADA)
文章的设计目的是希望避免手动调整增强强度
训练集
对于这两种启发式方法,由上述分析我们已经知道当过度拟合开始时,验证集开始表现得越来越像生成的图像,也就是当
将
![8313da7f77f1f3c86b1a73676478c4a4.png](https://i-blog.csdnimg.cn/blog_migrate/49bb2e50ab0dc73cb4508c77273bb35c.jpeg)
在图 5a,b 中,可以观察到
![24849667995dfa410fed8f1e632267ea.png](https://i-blog.csdnimg.cn/blog_migrate/e4dff1c257b8af5dc424755c5e1c5457.jpeg)
图6使用ADA重复了图1的设置,可以看到无论训练集的大小如何,都可以实现收敛,并且不再发生过度拟合。 如果不进行扩充,随着时间的流逝,生成器从判别器接收到的梯度将变得非常简单,判别器开始仅关注少数功能,并且生成器可以自由创建其他无意义的图像。 同时使用ADA时,梯度场保持更详细,从而避免情况的恶化。
实验与评估
文章在FFHQ和LSUN CAT进行实验,有趣的是ADA和bCR的优势在很大程度上是可加的,图7给出了实验结果。
![8a4517be9dcfd1c1ee19a2bad28f36a9.png](https://i-blog.csdnimg.cn/blog_migrate/7a64f32430701782784e984f1fa48b52.jpeg)
为进一步定量说明,文章和PA-GAN [2],WGAN-GP [3],zCR [4],auxiliary rotations [5]和spectral normalization [6]进行定量比对,结果如图8,不得不说的是ADA在Cifar10数据集下取得了非常好的结果这在之前的生成模型上是看不到的,这个进步是很大的。
![d532f747870f2462f530749e42b3a161.png](https://i-blog.csdnimg.cn/blog_migrate/6ff242fde019821c90919d922166974c.jpeg)
在迁移学习上,ADA也展示了优越的结果。
![a255ae7faefdabbefddfb0b4b8dedf9f.png](https://i-blog.csdnimg.cn/blog_migrate/1f1a95e52c787958a05f622ff1f8db77.jpeg)
最后放一下在小型数据集Cifar10数据集下,ADA模型展示的可怕的生成效果:
![612541fd2b7c0fc2d94b1ef34dca26f8.png](https://i-blog.csdnimg.cn/blog_migrate/0f5c69da0b9fe7f40166a9c8b0805022.jpeg)
总结
ADA展示了在训练数据短缺时,自适应判别器扩充可以稳定且有效的训练并极大地提高结果质量。 但是也要指出扩充数据集并不能替代真实数据,相同数据量下肯定是真实数据越多得到的生成效果越好的。自适应增强的设计也展示了NVIDIA科研上的严谨,更值得说的是,NVIDIA这样的不太在乎算力资源的研究者能专心在少数据样本的训练上展开研究本身就是很值得敬佩的。
参考文献
[1] A. Bora, E. Price, and A. Dimakis. AmbientGAN: Generative models from lossy measurements. In Proc. ICLR, 2018.
[2] D. Zhang and A. Khoreva. PA-GAN: Improving GAN training by progressive augmentation. In Proc. NeurIPS, 2019.
[3] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville. Improved training of Wasserstein GANs. In Proc. NIPS, pages 5769–5779, 2017.
[4] Z. Zhao, S. Singh, H. Lee, Z. Zhang, A. Odena, and H. Zhang. Improved consistency regularization for GANs. CoRR, abs/2002.04724, 2020.
[5] T. Chen, X. Zhai, M. Ritter, M. Lucic, and N. Houlsby. Self-supervised GANs via auxiliary rotation loss. In Proc. CVPR, 2019.
[6] T. Miyato, T. Kataoka, M. Koyama, and Y. Yoshida. Spectral normalization for generative adversarial networks. In Proc. ICLR, 2018.
#投 稿 通 道#
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢? 答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
投稿方式:
• 方法一:在PaperWeekly知乎专栏页面点击“投稿”,即可递交文章
• 方法二:发送邮件至:hr@paperweekly.site ,所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
加入社区:http://paperweek.ly
微信公众号:PaperWeekly
新浪微博:@PaperWeekly