DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比

最新推荐文章于 2023-08-16 15:21:49 发布
最新推荐文章于 2023-08-16 15:21:49 发布
阅读量1.1k 收藏 14
点赞数 1
分类专栏： 论文阅读笔记
原文链接：https://blog.csdn.net/qq_25737169/article/details/78857788
版权

文章目录


转自 https://blog.csdn.net/qq_25737169/article/details/78857788

在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP,LSGAN-BEGAN的详细原理介绍以及他们对GAN的主要改进，并推荐了一些Github代码复现链接。

本文旨在对GAN的变种做一些梳理工作，详细请看下文。

1.DCGAN

【Paper】 ：

        http://arxiv.org/abs/1511.06434

【github】 :

        https://github.com/Newmu/dcgan_code  theano

        https://github.com/carpedm20/DCGAN-tensorflow  tensorflow

        https://github.com/jacobgil/keras-dcgan    keras

        https://github.com/soumith/dcgan.torch  torch

DCGAN是继GAN之后比较好的改进，其主要的改进主要是在网络结构上，到目前为止，DCGAN的网络结构还是被广泛的使用，DCGAN极大的提升了GAN训练的稳定性以及生成结果质量。

论文的主要贡献是：

◆ 为GAN的训练提供了一个很好的网络拓扑结构。

◆ 表明生成的特征具有向量的计算特性。

在这里插入图片描述

DCGAN的生成器网络结构如上图所示，相较原始的GAN，DCGAN几乎完全使用了卷积层代替全链接层，判别器几乎是和生成器对称的，从上图中我们可以看到，整个网络没有pooling层和上采样层的存在，实际上是使用了带步长（fractional-strided）的卷积代替了上采样，以增加训练的稳定性。

DCGAN能改进GAN训练稳定的原因主要有：

◆ 使用步长卷积代替上采样层，卷积在提取图像特征上具有很好的作用，并且使用卷积代替全连接层。

◆ 生成器G和判别器D中几乎每一层都使用batchnorm层，将特征层的输出归一化到一起，加速了训练，提升了训练的稳定性。（生成器的最后一层和判别器的第一层不加batchnorm）

◆ 在判别器中使用leakrelu激活函数，而不是RELU，防止梯度稀疏，生成器中仍然采用relu，但是输出层采用tanh

◆ 使用adam优化器训练，并且学习率最好是0.0002，（我也试过其他学习率，不得不说0.0002是表现最好的了）

DCGAN结果图：
矢量计算：

在这里插入图片描述

LSUN数据集上的结果：

在这里插入图片描述

DCGAN虽然有很好的架构，但是对GAN训练稳定性来说是治标不治本，没有从根本上解决问题，而且训练的时候仍需要小心的平衡G,D的训练进程，往往是训练一个多次，训练另一个一次。

2.WGAN

【paper】:

        https://arxiv.org/abs/1701.07875

【GitHub】：

        https://github.com/hwalsuklee/tensorflow-generative-model-collections

          https://github.com/Zardinality/WGAN-tensorflow

与DCGAN不同，WGAN主要从损失函数的角度对GAN做了改进，损失函数改进之后的WGAN即使在全链接层上也能得到很好的表现结果，WGAN对GAN的改进主要有：

◆ 判别器最后一层去掉sigmoid

◆ 生成器和判别器的loss不取log

◆ 对更新后的权重强制截断到一定范围内，比如[-0.01，0.01]，以满足论文中提到的lipschitz连续性条件。

◆ 论文中也推荐使用SGD， RMSprop等优化器，不要基于使用动量的优化算法，比如adam，但是就我目前来说，训练GAN时，我还是adam用的多一些。

从上面看来，WGAN好像在代码上很好实现，基本上在原始GAN的代码上不用更改什么，但是它的作用是巨大的

◆ WGAN理论上给出了GAN训练不稳定的原因，即交叉熵（JS散度）不适合衡量具有不相交部分的分布之间的距离，转而使用wassertein距离去衡量生成数据分布和真实数据分布之间的距离，理论上解决了训练不稳定的问题。

◆ 解决了模式崩溃的（collapse mode）问题，生成结果多样性更丰富。

◆ 对GAN的训练提供了一个指标，此指标数值越小，表示GAN训练的越差，反之越好。可以说之前训练GAN完全就和买彩票一样，训练好了算你中奖，没中奖也不要气馁，多买几注吧。

有关GAN和WGAN的解释，可以参考链接：https://zhuanlan.zhihu.com/p/25071913

总的来说，GAN中交叉熵（JS散度）不适合衡量生成数据分布和真实数据分布的距离，如果通过优化JS散度训练GAN会导致找不到正确的优化目标，所以，WGAN提出使用wassertein距离作为优化方式训练GAN，但是数学上和真正代码实现上还是有区别的，使用Wasserteion距离需要满足很强的连续性条件—lipschitz连续性，为了满足这个条件，作者使用了将权重限制到一个范围的方式强制满足lipschitz连续性，但是这也造成了隐患，接下来会详细说。另外说实话，虽然理论证明很漂亮，但是实际上训练起来，以及生成结果并没有期待的那么好。

注：Lipschitz限制是在样本空间中，要求判别器函数D(x)梯度值不大于一个有限的常数K，通过权重值限制的方式保证了权重参数的有界性，间接限制了其梯度信息。

3.WGAN-GP (improved wgan)

【paper】:

        https://arxiv.org/abs/1704.00028

【GitHub】:

    https://link.zhihu.com/?target=https%3A//github.com/igul222/improved_wgan_training

        https://github.com/caogang/wgan-gp

WGAN-GP是WGAN之后的改进版，主要还是改进了连续性限制的条件，因为，作者也发现将权重剪切到一定范围之后，比如剪切到[-0.01,+0.01]后，发生了这样的情况，如下图左边表示。

在这里插入图片描述

发现大多数的权重都在-0.01 和0.01上，这就意味了网络的大部分权重只有两个可能数，对于深度神经网络来说不能充分发挥深度神经网络的拟合能力，简直是极大的浪费。并且，也发现强制剪切权重容易导致梯度消失或者梯度爆炸，梯度消失很好理解，就是权重得不到更新信息，梯度爆炸就是更新过猛了，权重每次更新都变化很大，很容易导致训练不稳定。梯度消失与梯度爆炸原因均在于剪切范围的选择，选择过小的话会导致梯度消失，如果设得稍微大了一点，每经过一层网络，梯度变大一点点，多层之后就会发生梯度爆炸 。为了解决这个问题，并且找一个合适的方式满足lipschitz连续性条件，作者提出了使用梯度惩罚（gradient penalty）的方式以满足此连续性条件，其结果如上图右边所示。

梯度惩罚就是既然Lipschitz限制是要求判别器的梯度不超过K，那么可以通过建立一个损失函数来满足这个要求，即先求出判别器的梯度d(D(x))，然后建立与K之间的二范数就可以实现一个简单的损失函数设计。但是注意到D的梯度的数值空间是整个样本空间，对于图片（既包含了真实数据集也包含了生成出的图片集）这样的数据集来说，维度及其高，显然是及其不适合的计算的。作者提出没必要对整个数据集（真的和生成的）做采样，只要从每一批次的样本中采样就可以了，比如可以产生一个随机数，在生成数据和真实数据上做一个插值

在这里插入图片描述

于是就算解决了在整个样本空间上采样的麻烦。

所以WGAN-GP的贡献是：

◆ 提出了一种新的lipschitz连续性限制手法—梯度惩罚，解决了训练梯度消失梯度爆炸的问题。

◆ 比标准WGAN拥有更快的收敛速度，并能生成更高质量的样本

◆ 提供稳定的GAN训练方式，几乎不需要怎么调参，成功训练多种针对图片生成和语言模型的GAN架构

但是论文提出，由于是对每个batch中的每一个样本都做了梯度惩罚（随机数的维度是(batchsize，1)），因此判别器中不能使用batch norm,但是可以使用其他的normalization方法，比如Layer Normalization、Weight Normalization和Instance Normalization，论文中使用了Layer Normalization，weight normalization效果也是可以的。为了比较，还是祭出了下面这张图，可以发现WGAN-GP完爆其他GAN：

在这里插入图片描述
在这里插入图片描述

4.LSGAN

最小二乘GAN

全称是Least Squares Generative Adversarial Networks

【paper】

        https://arxiv.org/abs/1611.04076

【github】

        https://github.com/hwalsuklee/tensorflow-generative-model-collections

        https://github.com/guojunq/lsgan

LSGAN原理：

其实原理部分可以一句话概括，即使用了最小二乘损失函数代替了GAN的损失函数。

但是就这样的改变，缓解了GAN训练不稳定和生成图像质量差多样性不足的问题。

事实上，作者认为使用JS散度并不能拉近真实分布和生成分布之间的距离，使用最小二乘可以将图像的分布尽可能的接近决策边界，其损失函数定义如下：

其中作者设置a=0, c=1, b=1

论文里还是给了一些数学推导与证明，感兴趣的可以去看看

生成结果展示：

在这里插入图片描述

5.BEGAN: (不是EBGAN)

BEGAN全称是Boundary Equilibrium GANs

【paper】：

        https://arxiv.org/abs/1703.10717

【GitHub】：

        https://github.com/carpedm20/BEGAN-tensorflow

        https://github.com/Heumi/BEGAN-tensorflow

        https://github.com/carpedm20/BEGAN-pytorch

（详细的BEGAN解读可以参考我的博客：

http://blog.csdn.net/qq_25737169/article/details/77575617?locationNum=1&fps=1）

BEGAN的主要贡献：

◆ 提出了一种新的简单强大GAN，使用标准的训练方式，不加训练trick也能很快且稳定的收敛

◆ 对于GAN中G，D的能力的平衡提出了一种均衡的概念（GAN的理论基础就是goodfellow理论上证明了GAN均衡点的存在，但是一直没有一个准确的衡量指标说明GAN的均衡程度）

◆ 提出了一种收敛程度的估计，这个机制只在WGAN中出现过。作者在论文中也提到，他们的灵感来自于WGAN，在此之前只有wgan做到了

◆ 提出了一种收敛程度的估计，这个机制只在WGAN中出现过。作者在论文中也提到，他们的灵感来自于WGAN

先说说BEGAN的主要原理，BEGAN和其他GAN不一样，这里的D使用的是auto-encoder结构，就是下面这种，D的输入是图片，输出是经过编码解码后的图片，

往的GAN以及其变种都是希望生成器生成的数据分布尽可能的接近真实数据的分布，当生成数据分布等同于真实数据分布时，我们就确定生成器G经过训练可以生成和真实数据分布相同的样本，即获得了生成足以以假乱真数据的能力，所以从这一点出发，研究者们设计了各种损失函数去令G的生成数据分布尽可能接近真实数据分布。BEGAN代替了这种估计概率分布方法，它不直接去估计生成分布Pg与真实分布Px的差距，进而设计合理的损失函数拉近他们之间的距离，而是估计分布的误差之间的距离，作者认为只要分布的的误差分布相近的话，也可以认为这些分布是相近的。即如果我们认为两个人非常相似，又发现这两人中的第二个人和第三个人很相似，那么我们就完全可以说第一个人和第三个人长的很像。

在BEGAN中，第一个人相当于训练的数据x，第二个人相当于D对x编码解码后的图像D(x)，第三个人相当于D以G的生成为输入的结果D(g(z))，所以，如果||D(x)-x|| - || D(x)- D(g(z)) || 不断趋近于0，那么随着训练，D(x)会不断接近x，那么D(g(z)) 接近于D(x)，岂不是就意味着 g(z) 的数据分布和x分布几乎一样了，那么就说明G学到了生成数据的能力。于是乎，假设图片足够大，像素很多。但是问题来了，如果||D(x)-x|| - || D(x)- D(g(z)) ||刚好等于0，这时候，D(x)和x可能还差的很远呢，那不就什么也学不到了D(x)-x是一个图片，假设图片上的每一个像素都满足独立同分布条件，根据中心极限定理，像素的误差近似满足正太分布，假设期望是m1，方差是μ1，同理D(x)- D(g(z))，还有m2, μ1这时候如果我们再用wassertein距离衡量m1与m2的距离，

在这里插入图片描述

再满足下面这个条件下，

在这里插入图片描述

即他们成正比，这时候连lipschitz连续性条件也不需要了，

但是有一个问题，当m1和m2很接近是，条件1是趋于无穷的，不可能再忽略，于是，boundary（限制）就来了，

在这里插入图片描述

设置一个位于[0~1]之间的数λ，强制将m1和m2划分开界限，具体的损失函数如下：

在这里插入图片描述

BEGAN的训练结果:不同的γ可以在图片的质量和生成多样性之间做选择。

在这里插入图片描述

所以说BEGAN效果还是很强的，当然先不考虑最新nvidia的渐进训练GAN，这篇之后会介绍。

这里直介绍了一些对GAN在训练和生成上改进的工作，具体还有很多很多很多很多没有介绍到，这里只是挑选了一些典型的，用的比较多的来介绍一下。感兴趣的可以去看看https://github.com/hindupuravinash/the-gan-zoo

GAN动物园，上百个GAN等着被翻牌。

没什么不同
哪么重点来了，那么多GAN改进版，到底哪一个效果更好呢，最新的Google一项研究表明，GAN、WGAN、WGAN GP、LS GAN、DRAGAN、BEGAN啥的，都差不多，差不多，不多，为什么都差不多呢？因为天黑得时候他们都仰望同一片星空，忽然想起来了曲婉婷的一首歌—《没有什么不同》

Google研究原文请见：https://arxiv.org/abs/1711.10337

在此项研究中，Google此项研究中使用了minimax损失函数和用non-saturating损失函数的GAN，分别简称为MM GAN和NS GAN，对比了WGAN、WGAN GP、LS GAN、DRAGAN、BEGAN，除了DRAGAN上文都做了介绍，另外还对比的有VAE（变分自编码器）。

对比细节：

为了很好的说明问题，研究者们两个指标来对比了实验结果，分别是FID和精度（precision、）、召回率（recall）以及两者的平均数F1。

其中FID（Fréchet distance(弗雷歇距离) ）是法国数学家Maurice René Fréchet在1906年提出的一种路径空间相似形描述，直观来说是狗绳距离：主人走路径A，狗走路径B，各自走完这两条路径过程中所需要的最短狗绳长度，如下图所示，所以说，FID与生成图像的质量呈负相关。

在这里插入图片描述

为了更容易说明对比的结果，研究者们自制了一个类似mnist的数据集，数据集中都是灰度图，图像中的目标是不同形状的三角形。
在这里插入图片描述

具体比较细节就不详细展开了，这里做一个结论总结

在图像生成方面，发现了VAE生成结果最差，其他的GAN等等生成质量都差不多，也很好理解其实，个人认为VAE更适合于对数据进行重构，对数据降维或者生成要求不是很高的数据上很方便（填补缺失数据），但是生成数据上还是GAN更胜一筹。

最后，研究者们也在精度（precision、）、召回率（recall）以及两者的平均数F1上做了测试，测试细节请看论文，也并没有发现其他GAN比原始GAN更突出的地方。

结语：

但是个人认为，虽然得出的结论是没有明显的证据说明其他GAN比原始GAN好，但是我想说，有本事你用原始GAN生成一个2K的高清图给我看看，此时BEGAN和PG-GAN相视一笑，默默不说话。大部分情况来说，还是wgan-gp用的更多一些。生成高清图像BEGAN最简单合适。

参考文献：

https://www.zhihu.com/question/56171002/answer/148593584

http://www.inference.vc/instance-noise-a-trick-for-stabilising-gan-training/

https://github.com/soumith/ganhacks

https://github.com/hindupuravinash/the-gan-zoo

https://zhuanlan.zhihu.com/p/25071913

Nani_xiao
关注
专栏目录
深度学习【43】BEGAN
DCD_LIN的博客
04-12 9132
GAN有不少未解决的问题：1、虽然在DCGAN和improveGAN中提出了不少训练GAN的tricks，但是GAN还是很难训练。2、很难控制G网络的多样性。3、D网络和G网络之间的平衡性很难控制，大部分情况下D网络在训练之初能力会更强。 而BEGAN提出了能够使得训练过程快又稳定的方法；解决了D网络和G网络能力平衡问题；有能力控制生成图片的多样性和质量平衡问题以及衡量收敛性的近似方法。 ...
深度学习--生成式对抗网络--DCGAN/WGAN/WGAN-GP/LSGAN/BEGAN算法理论
weixin_35733800的博客
04-23 1334
一 生成式对抗网络基础 1 生成式对抗网络的概念 1）网络属于无监督学习 2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.5 判别器D：是一个二分类器，真实样本期望输出1，生成样本期望输出0 生成器G：将噪音数据尽量生成真实样本分布，以期望判别器D输出1 3）网络的训练阶段分为两个阶段 第一阶段：冻结生成器G，使用真实样本和生成样本训练判别器D 第二阶段：...
GAN、DCGAN、WGAN、WGAN-GP
学习笔记
02-02 534
原理详解: https://blog.csdn.net/soullines/article/details/102593950 p(x)是某种分布，只是一种表示方式，不需要知道具体服从什么分布 比如用神经网络G表示，G网络学到的参数就是p(x)的分布 pr为真实分布，p(z)/G网络为生成网络的分布 D为鉴别器 Discriminator鉴别器的机制是奖励真实样本,惩罚伪造样本;所以D网络的训练过程就是迭代计算使得其loss 函数V(G,D)最大化的过程;也就是 argmax V(D,G)的过程
深度学习与神经网络(十二)—— GAN生成对抗网络 & DCGAN & WGAN(JS divergence & EM/Wassertein Distance & Gradient Penalty)
hxxjxw的博客
06-18 1642
GAN是现在deep learning最火热的方向 学到了x的分布 画家的成长历程 根据画家怎样练习、成长，画出一幅好的作品 来学习怎样用神经网络来逼近一幅优秀的作品 pr的r是real pg是你脑中x的分布 ...
BEGAN
Forlogenの解忧杂货铺
04-21 3246
A paper a day keeps trouble away​\color{lime}{A\ paper\ a\ day\ keeps\ trouble\ away\!}A paper a day keeps trouble awa...
ml_gans:生成对抗网络论文的重复结果
04-27
dcgan ：深度卷积生成对抗网络的无监督表示学习 ebgan ：基于能量的生成对抗网络 xwgan ：Wasserstein GAN的改进培训 cyclegan ：使用周期一致的对抗网络进行不成对的图像到图像的翻译 pix2pix ：使用条件对抗网络...
GAN及其改进算法总结
热门推荐
Avery123123的博客
10-22 1万+
GAN及其改进算法总结GAN及其各种改进算法GAN概述原理优点和不足 未来主要的方向被定在了GAN相关的一个子方向，在这里从源头总结一下GAN以及相关的一些改进算法，帮自己理清一下思路，和大家共同学习。
Python-一些理论生成对抗网的实现
08-11
下面将详细介绍DCGAN、BEGAN、LAGAN、WGAN、WGAN-GP、BEGAN以及DRAGAN这几种不同的GAN变体。 1. DCGAN（Deep Convolutional Generative Adversarial Networks）：DCGAN是最早的针对图像生成的卷积版GAN，通过使用...
"Wasserstein散度和WGAN-div：新的优化目标GAN中的挑战和优势
GANs的Wasserstein散度Jiqing Wu1，Zhiwu Huang1，Janine Thoma1，DineshAcharya1，and Luc Van Gool1， 21瑞士苏黎世联邦理工学院计算机视觉实验室{jwu，zhiwu.huang，jthoma，vangool}@ vision.ee.ethz.ch，...
8.GAN 和 DCGAN 网络生成图像
05-08
GAN 和 DCGAN 网络生成图像,采用python语言编写程序实现生成网络，并给出网络的具体训练代码
GAN和DCGAN
wjsjjss的博客
02-22 2513
Generative Adversarial Networks 生成式对抗网络 GAN的体系结构如图所示。在GAN架构中有两个部分：1生成器（generator）网络能够生成看起来像真实的数据。；2鉴别器（discrimiator）网络试图区分虚假数据和真实数据。这两个网络都在互相竞争。生成器网络试图欺骗鉴别器网络。这时，鉴别器网络就会适应新的假数据。这些信息反过来又用于改进生成器。 鉴...
生成对抗式网络 GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍
赵凯月的博客
06-16 3643
一、GAN原理介绍 学习GAN的第一篇论文当然由是 Ian Goodfellow 于2014年发表的 Generative Adversarial Networks（论文下载链接arxiv：[https://arxiv.org/abs/1406.2661] )，这篇论文可谓这个领域的开山之作。 GAN的基本原理其实并不复杂，模型通过框架中两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。这里以生成图片为例进行说明。假设
原GAN（DCGAN）缺陷
weixin_41883450的博客
09-30 838
原始的GAN的G与D使用在其他任务时需要重新调整G与D的训练比例，保持G与D能循序渐进的共同训练，不然就会出现梯度消失或者爆炸导致无法对抗训练。由于使用的损失函数的原因，当模型训练到一定程度之后loss过小（过大）导致梯度消失，无法更新。当发现G生成图像与上一次相似时，给G一个惩罚（生成奇奇怪怪的照片，但判别器仍吧他当作真实图片。使用其他损失函数（LS-GAN、WGAN等）三、过生成（另一种模式崩塌）二、梯度消失（爆炸）
常见的五种神经网络(5)-生成对抗网络（下）之GAN、DCGAN、W-GAN
Thinkgamer博客
12-31 7954
在上一篇文章中介绍了生成模型的基本结构、功能和变分自动编码器，在本篇文章中主要介绍一下生成对抗网络（Generative Adversaarial Networks，GAN） KL散度、JS散度、Wassertein距离 KL散度 KL散度又称相对熵，信息散度，信息增益。KL散度是两个概率分布P和Q差别的非对称性的度量。在经典境况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布。 DK...
登峰造极__边界均衡生成对抗网络（BEGAN）（七）
散修炼丹师手记
04-21 1997
BEGAN是Google在17年上半年出的一篇论文，此论文对GAN做了进一步的改进，提出了一种新的评价生成器生成质量的方式，使GAN即使使用很简单的网络，不加一些训练trick比如BN,minibatch,使用SELU激活函数等等，也能实现很好的训练效果，完全不用担心模式崩溃（model collapse）和训练不平衡的问题。
生成对抗式网络 GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN等原理介绍、应用介绍及简单Tensorflow实现
qq_41590635的博客
04-11 7129
生成式对抗网络（GAN，Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。最近正好看了这方面的一些介绍和论文，并用Tensorflow实现了两个小例子，所以写了这篇文章来作个简单的小结。 本文主要分为三个部分： 原始的GAN原理介绍； GAN衍生的CGAN、DCGAN、WGAN、LSGAN、BEGAN等原理； ten...
深度学习（四十四）——GAN的评估指标, DCGAN, WGAN-GP, CGAN, BEGAN & EBGAN
antkillerfarm的专栏
05-18 4819
GAN的评估指标 尽管可用的GAN模型非常多，但对它们的评估仍然主要是定性评估，通常需要借助人工检验生成图像的视觉保真度来进行。此类评估非常耗时，且主观性较强、具备一定误导性。鉴于定性评估的内在缺陷，恰当的定量评估指标对于GAN的发展和更好模型的设计至关重要。 论文： 《An empirical study on evaluation metrics of generative adversarial networks》 这篇论文是GAN评估指标方面的综述文章。 上图是该文给出的各种常见评估指标的体系结构
DNNGP模型解读-early stopping 和 batch normalization的使用
最新发布
weixin_71458119的博客
08-16 2485
在构建DNNGP模型中用来优化之前模型的两个方面，early stopping 和 batch normalization 代码参数的具体解读及应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值