提高生成对抗网络（GAN）训练稳定性的9大tricks

最新推荐文章于 2024-05-22 22:47:23 发布
最新推荐文章于 2024-05-22 22:47:23 发布
阅读量6.3k 收藏 55
点赞数 9
分类专栏： 生成对抗网络 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44814867/article/details/120021323
版权

提高生成对抗网络（GAN）训练稳定性的9大tricks

使用GAN的缺陷

GAN 是由 Generator 生成网络和 Discriminator 判别网络组成的。

1. Mode collapse（模型崩溃）

注：Mode collapse 是指 GAN 生成的样本单一，其认为满足某一分布的结果为 true，其他为 False，导致以上结果。

自然数据分布是非常复杂，且是多峰值的（multimodal）。也就是说数据分布有很多的峰值（peak）或众数（mode）。每个 mode 都表示相似数据样本的聚集，但与其他 mode 是不同的。

在 mode collapse 过程中，生成网络 G 会生成属于有限集 mode 的样本。当 G 认为可以在单个 mode 上欺骗判别网络 D 时，G 就会生成该 mode 外的样本。

判别网络最后会判别来自该 mode 的样本是假的。最后，生成网络 G 会简单地锁定到另一个 mode。该循环会无限进行，就会限制生成样本的多样性。

2.Convergence（收敛）

GAN 训练过程中遇到的一个问题是什么时候停止训练？
因为判别网络 D 损失降级会改善生成网络 G 的损失（反之亦然），因此无法根据损失函数的值来判断收敛，如下图所示：
在这里插入图片描述

3. Quality（质量）

与前面提到的收敛问题一样，很难量化地判断生成网络 G 什么时候会生成高质量的样本。另外，在损失函数中加入感知正则化则在一定程度上可缓解该问题。

4.Metrics（度量）

GAN 的目标函数解释了生成网络 G 或 判别网络 D 如何根据组件来执行，但它却不表示输出的质量和多样性。因此，需要许多不同的度量指标来进行衡量。

改善性能的技术

下面总结了一些可以使 GAN 训练更加稳定的技术。

1. Alternative Loss Functions （替代损失函数）

①：修复 GAN 缺陷的最流行的补丁是 Wasserstein GAN （WGAN），该 GAN 用 Earth Mover distance ( Wasserstein-1 distance 或 EM distance) 来替换传统 GAN 的 Jensen Shannon divergence ( J-S 散度) 。

使用 Earth Mover distance 的优势在于即使真实的生成数据分布是不相交的，它也是连续的。同时，在生成的图像质量和损失值之间存在一定关系。使用 Earth Mover distance 的劣势在于对于每个生成模型 G 都要执行许多判别网络 D 的更新。

Earth Mover distance：地球移动距离(EMD)是一种在D区域两个概率分布距离的度量，就是被熟知的Wasserstein度量标准。不正式的说，如果两个分布被看作在D区域上两种不同方式堆积一定数量的山堆，那么EMD就是把一堆变成另一堆所需要移动单位小块最小的距离之和。

②：另一个解决方案是使用均方损失（ mean squared loss ）替代对数损失（ log loss ）。LSGAN https://arxiv.org/abs/1611.04076.的作者认为传统 GAN 损失函数并不会使收集的数据分布接近于真实数据分布。原来 GAN 损失函数中的对数损失并不影响生成数据与决策边界（decision boundary）的距离。另一方面，LSGAN 也会对距离决策边界较远的样本进行惩罚，使生成的数据分布与真实数据分布更加靠近，这是通过将均方损失替换为对数损失来完成的。

决策边界（decision boundary）：分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。

2. Two Timescale Update Rule (TTUR)——（双时间尺度更新规则）

在 TTUR 方法中，研究人员对判别网络 D 和生成网络 G 使用不同的学习速度。低速更新规则用于生成网络 G ，判别网络 D使用 高速更新规则。使用 TTUR 方法，研究人员可以让生成网络 G 和判别网络 D 以 1:1 的速度更新。 SAGAN https://blog.csdn.net/z704630835/article/details/89150051.就使用了 TTUR 方法。

3. Gradient Penalty （梯度惩罚）

在论文Improved Training of WGANs:https://arxiv.org/abs/1704.00028.
中，作者称权重修改会导致优化问题。权重修改会迫使神经网络学习学习更简单的相似（simpler approximations）达到最优数据分布，导致结果质量不高。同时如果 WGAN 超参数设置不合理，权重修改可能会出现梯度消失或梯度爆炸的问题，论文作者在损失函数中加入了一个简单的梯度惩罚机制以缓解该问题。

加入惩罚项的公式如下：
在这里插入图片描述
DRAGAN https://arxiv.org/abs/1705.07215.的作者称，当 GAN 的博弈达到一个局部平衡态（local equilibrium state），就会出现 mode collapse 的问题。而且判别网络 D 在这种状态下产生的梯度是非常陡（sharp）的。一般来说，使用梯度惩罚机制可以帮助避免这种状态的产生，极大增强 GAN 的稳定性，尽可能减少 mode collapse 问题的产生。

对于DRAGAN的详解参考博客：https://blog.csdn.net/z704630835/article/details/89150051.

4. Spectral Normalization（谱归一化）

Spectral normalization 是用在判别网络 D 来增强训练过程的权重正态化技术 （weight normalization technique），可以确保判别网络 D 是 K-Lipschitz （连续没有间断点）连续的。 SAGAN https://arxiv.org/abs/1805.08318.
这样的实现也在判别网络 D 上使用了谱正则化。而且该方法在计算上要比梯度惩罚方法更加高效。

对于SAGAN的详细解读参考博客：
https://blog.csdn.net/z704630835/article/details/86648924.

5. Unrolling and Packing (展开和打包)

文章 Mode collapse in GANshttp://aiden.nibali.org/blog/2017-01-18-mode-collapse-gans/中提到一种预防 mode hopping（跳模） 的方法就是在更新参数时进行预期对抗（anticipate counterplay）。展开的 GAN ( Unrolled GANs ）可以使用生成网络 G 欺骗判别网络 D，然后判别网络 D 就有机会进行响应。

另一种预防 mode collapse 的方式就是把多个属于同一类的样本进行打包，然后传递给判别网络 D 。PacGAN https://arxiv.org/abs/1712.04086就融入了该方法，并证明可以减少 mode collapse 的发生。

6. 多个 GAN

一个 GAN 可能不足以有效地处理任务，因此研究人员提出使用多个连续的 GAN ，每个 GAN 解决任务中的一些简单问题。比如，FashionGANhttps://www.cs.toronto.edu/~urtasun/publications/zhu_etal_iccv17.pdf就使用 2 个 GAN 来执行图像定位翻译。
在这里插入图片描述

7. Relativistic GANs（相对生成对抗网络）

传统的 GAN 会测量生成数据为真的可能性。Relativistic GANs 则会测量生成数据“逼真”的可能性。研究人员可以使用相对距离测量方法（appropriate distance measure）来测量相对真实性（relative realism），
相关论文链接：https://arxiv.org/abs/1807.00734

在论文中，作者提到判别网络 D 达到最优状态时，D 的输出应该聚集到 0.5。但传统的 GAN 训练算法会让判别网络 D 对图像输出“真实”（real，1）的可能性，这会限制判别网络 D 达到最优性能。不过这种方法可以很好地解决这个问题，并得到不错的结果。

8. Self Attention Mechanism（自注意力机制）

Self Attention GANshttps://arxiv.org/abs/1805.08318 作者称用于生成图像的卷积会关注本地传播的信息。也就是说，由于限制性接收域这会错过广泛传播关系。
在这里插入图片描述
Self-Attention Generative Adversarial Network 允许图像生成任务中使用注意力驱动的、长距依赖的模型。自注意力机制是对正常卷积操作的补充，全局信息（长距依赖）会用于生成更高质量的图像，而用来忽略注意力机制的神经网络会考虑注意力机制和正常的卷积。
（相关论文链接：https://arxiv.org/pdf/1805.08318.pdf.）

9. 其他技术

其他可以用来改善 GAN 训练过程的技术包括：

特征匹配

Mini Batch Discrimination（小批量判别）

历史平均值

One-sided Label Smoothing（单侧标签平滑）

Virtual Batch Normalization（虚拟批量正态化）

康x呀
关注
  • 9
    点赞
  • 踩
  • 55
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
GAN稳定性训练理论入门
PeaceInMind的博客
07-05 3131
对GAN的理解还停留在一些警察抓小偷，cyclegan，pix2pixHD之类的层次，当自己想去独立写一个的时候发现自己对这块了解地非常肤浅。本文综合网上各种参考资料和论文，记录在本博客中，以促进自己的理解，不过自己想要想真正理解里面的内容，还是得对数学有系统的学习，不然只是生硬地知道这个公式这个定理，而不能形象理解，过三五个礼拜就忘了
DRAGAN, 一种稳定的GAN训练.zip
10-09
DRAGAN, 一种稳定的GAN训练 Analytic Generative Generative Adversarial Adversarial链接到我们的纸张- https://arxiv.org/abs/1705.07215Pytorch实现( 致谢) - https
GAN系列训练出现的生成器loss一直上升，无法收敛的问题
最新发布
qq_73683939的博客
05-22 779
DCGAN训练发生了生成器损失不断上升，判别器损失趋于0的严重情况，永不收敛，本文提供了自己的解决方案。
GAN最新进展：8大技巧提高稳定性
02-13 3269
生成对抗网络GAN很强大，但也有很多造成GAN难以使用的缺陷。本文介绍了可以克服GAN训练缺点的一些解决方案，有助于提高GAN性能。 生成对抗网络 (GAN) 是一类功能强大的神经网络，具有广泛的应用前景。GAN 本质上是由两个神经网络组成的系统——生成器 (Generator)和鉴别器 (Discriminator)——二者相互竞争。 GAN 的原理示意图 给定一组目标样本，生成器试图...
训练GANs一年我学到的10个教训
AI公园
08-07 4836
作者：Marco Pasini 编译：ronghuaiyang 导读 训练生成对抗网络是很难的：我们来想办法变得简单一点。 介绍 一年前，我决定开始我的旅程，进入生成对抗网络(GANs)的世界。自从我对深度学习产生兴趣以来，我就一直对它们很感兴趣，主要是因为它们能产生难以置信的结果。当我想到人工智能这个词的时候，GAN是我脑海中最先出现的一个词。 GANs (St...
SAGAN（G-lab介绍）
热门推荐
简单记录生活、学习
04-25 1万+
1.SAGAN解决的问题 用深度卷积网络能够提升 GANs 生成高分辨率图片的细节，但是由于卷积网络的局部感受野的限制，如果要生成大范围相关（Long-range dependency）的区域，卷积网络就会出现问题。譬如说在生成人脸图片时，是非常注重细节的，以左右眼举例，只要左右眼有一点点不对称，就会显得生成的人脸特别不真实。但是因为一般的卷积核很难覆盖很大的区域，在对左眼区域做卷积时它看不到右眼对左眼的影响，这样产生的图片就会缺乏人脸结构特征的完整性。因此，现在我们需要解决的问题是，如何找到一种能够利用
ICCV 2017：训练GAN的16个技巧，2400+星（PPT）
人工智能
10-29 1万+
作者：Soumith Chintala等 编译：马文 【新智元导读】本文来自ICCV 2017的Talk：如何训练GAN，FAIR的研究员Soumith Chintala总结了训练GAN的16个技巧，例如输入的规范化，修改损失函数，生成器用Adam优化，使用Sofy和Noisy标签，等等。这是NIPS 2016的Soumith Chintala作的邀请演讲的修改版本，而2016年的
GAN性能不稳？这九大技术可“镇住”四类缺陷
AI科技大本营
02-21 4871
作者 | Bharath Raj译者 | ang010ela编辑 | 一一出品 | AI科技大本营尽管 GAN 领域的进步令人印象深刻，但其在应用过程中仍然存在一些困难。...
bag of tricks for training GAN
ZHUIYI_AI的博客
05-30 512
训练GANs，你应该知道的二三事 作者：追一科技AI Lab 研究员 Miracle 写在前面的话 笔者接触GANs也有一段时间了，从一开始的小白，到现在被GANs虐了千百遍但依然深爱着GANs的小白，被GANs的对抗思维所折服，被GANs能够生成万物的能力所惊叹。我觉得GANs在某种程度上有点类似于中国太极，‘太极生两仪，两仪生四象’，太极阐明了宇宙从无极而太极，以至万物化生的过程，太极也是讲究...
基于生成对抗网络的知识蒸馏数据增强
weixin_50094312的博客
10-27 1163
思想来源：仅对原标签做简单的线性变化或直接使用原标签作为新样本标签的方法是无法表示标签中离散信息的 ，这会导致网络模型无法将离散信息也作为一种特征进行学习。针对上述问题，在区域丢弃算法的基础上，提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补，减少区域丢弃产生的非信息噪声。在补丁生成网络中，保留生成对抗网络的编码器-解码器结构，利用编码器卷积层提取特征，通过解码器对特征图上采样生成补丁。
Two time-scale update rule for training GANs-python
06-18
Two time-scale update rule for training GANs 用于训练 GAN 的两个时间尺度更新规则 该存储库包含随论文 GANs 训练的代码，该论文通过两个时间尺度更新规则收敛到局部纳什均衡。 Fréchet 初始距离 (FID) FID 是用于评估论文中的实验的性能度量。 在那里，可以在实验部分以及 A1 部分的附录中找到详细说明。 简而言之：两个多元高斯 X_1 ~ N(mu_1, C_1) 和 X_2 ~ N(mu_2, C_2) 之间的 Fréchet 距离是 d^2 = ||mu_1 - mu_2||^2 + Tr(C_1 + C_2 - 2* sqrt(C_1*C_2))。 通过假设 X_1 和 X_2 分别是生成样本和真实世界样本的初始模型（见下文）的编码层池_3 的激活值来计算 FID。 mu_n 是编码层在所有真实世界或生成的样本上的激活的均值和 C_n 的协方差。 重要提示：计算高斯统计（均值和协方差）的样本数应大于编码层的维数，此处为 Inception pool 3 层的 2048。 否则协方差不是满秩的，通过计算平
图像分类训练中的 tricks
11-17
针对图像分类任务，提升准确率的方法路线有两条，一个是模型的修改，另一个是各种数据处理和训练的技巧(tricks)。图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用，因此值得好好总结。本文在精读...
ShaderX2 Programming Tips ＆ Tricks with DirectX 9 无水印pdf
09-24
ShaderX2 Programming Tips ＆ Tricks with DirectX 9 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，...
Must Know Tips_Tricks in Deep Neural Networks.pdf
06-13
数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法
nueruel network tricks of the trade
03-12
关于神经网络训练技巧的论文集，设计训练过程的各个方面
Python Tricks
05-07
《Python Tricks》这本书是Python开发者的一本宝贵资源，它深入浅出地讲解了Python编程中的高级技巧和最佳实践。作者的目标是帮助读者更好地理解和运用Python，无论你是初学者还是有经验的开发者，都能从中受益匪浅...
对抗网络GAN详解：GAN训练不稳定解决方法、GAN中使用的深度学习技巧、GAN使用任务领域、GAN资料大全整理
丨汀、的博客
07-18 5200
对抗网络GAN详解：GAN训练不稳定解决方法、GAN中使用的深度学习技巧、GAN使用任务领域、GAN资料大全整理
【计算机视觉|生成对抗】逐步增长的生成对抗网络（GAN）以提升质量、稳定性和变化
远
08-18 1440
我们描述了一种新的生成对抗网络（GANs）训练方法。关键思想是逐步地使生成器和判别器增长：从低分辨率开始，随着训练的进行，我们添加新的层（layer），这些层模拟了越来越精细的细节。这不仅加速了训练过程，还极大地稳定了训练过程，使我们能够生成前所未有质量的图像，例如102421024^210242分辨率的CELEBA图像。我们还提出了一种简单的方法来增加生成图像的变化，并在无监督的CIFAR10数据集中实现了创纪录的8.808.808.80的Inception分数。
深度学习tricks
04-30
深度学习tricks是指在深度学习模型训练过程中使用的一些技巧和策略，旨在提高模型的性能和训练效果。以下是一些常用的深度学习tricks： 1. 数据增强（Data Augmentation）：通过对原始数据进行随机变换和扩充，生成更多的训练样本，以增加模型的泛化能力。 2. 批归一化（Batch Normalization）：在每个小批量数据上进行归一化操作，有助于加速模型的收敛速度，提高模型的稳定性和泛化能力。 3. 学习率调整（Learning Rate Schedule）：根据训练的进程动态地调整学习率，例如使用学习率衰减或者学习率预热等策略，以提高模型的收敛性能。 4. 正则化（Regularization）：通过添加正则化项，如L1正则化或L2正则化，限制模型的复杂度，防止过拟合。 5. 提前停止（Early Stopping）：在训练过程中监控验证集上的性能指标，当性能不再提升时停止训练，以避免过拟合。 6. 参数初始化（Parameter Initialization）：合适的参数初始化可以帮助模型更快地收敛和更好地泛化，常用的初始化方法包括Xavier初始化和He初始化等。 7. 梯度裁剪（Gradient Clipping）：限制梯度的范围，防止梯度爆炸或梯度消失问题，提高模型的稳定性。 8. 集成学习（Ensemble Learning）：通过结合多个模型的预测结果，可以提高模型的泛化能力和鲁棒性。 9. 迁移学习（Transfer Learning）：利用已经训练好的模型在新任务上进行微调，可以加快模型的训练速度和提高模型的性能。 10. 深度网络结构设计：合理设计网络结构，包括层数、宽度、卷积核大小等，可以提高模型的表达能力和学习能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

康x呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值