【GAN】三、DCGAN论文详解

写在前面

在前面一篇博客：【GAN】二、原始GAN论文详解中我们主要介绍了原始GAN模型的网络结构，训练方法以及相关GAN网络架构中的数学结论。那么在这篇博客中，我们将主要介绍原始GAN之后的又一种模型——DCGAN。DCGAN将GAN与CNN相结合，奠定后几乎所有GAN的基本网络架构。DCGAN极大地提升了原始GAN训练的稳定性以及生成结果质量。

DCGAN的论文连接为：UNSUPERVISED REPRESENTATION LEARNINGWITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

对于DCGAN的实战，可以参照GAN系列的第一篇博客：【GAN】一、利用keras实现DCGAN生成手写数字图像。

---

一、DCGAN网络架构

DCGAN主要是在网络架构上改进了原始GAN，DCGAN的生成器与判别器都利用CNN架构替换了原始GAN的全连接网络，主要改进之处有如下几个方面：

1. DCGAN的生成器和判别器都舍弃了CNN的池化层，判别器保留CNN的整体架构，生成器则是将卷积层替换成了反卷积层（fractional-strided convolution）或者叫转置卷积层（Convolution Transpose）。
2. 在判别器和生成器中在每一层之后都是用了Batch Normalization（BN）层，有助于处理初始化不良导致的训练问题，加速模型训练，提升了训练的稳定性。
3. 利用1*1卷积层替换到所有的全连接层。
4. 在生成器中除输出层使用Tanh（Sigmoid）激活函数，其余层全部使用ReLu激活函数。
5. 在判别器所有层都使用LeakyReLU激活函数，防止梯度稀。

下面是DCGAN的生成器网络架构图。

接下来我们给出DCGAN的训练细节：

1. 将训练图像数据进行标准化处理，范围为[-1,1]，由于像素值范围为0-255，因此将图像减去均值127.5之后再除以127.5即可。
2. 建议使用Adam优化算法进行优化参数，学习率为0.0002而不是0.001，Adam优化算法的${\beta }_1=0.5$,${\beta }_1=0.9$会导致训练振荡与不稳定。
3. 权重随机初始化，数据分布服从$N(0,0.02)$,LeakyReLU的斜率为0.2，batch_size = 128。

---

二、实验结果

在LSUN数据集上的实验结果

DCGAN的矢量计算表示：

---

后记

至此，DCGAN的相关内容全部介绍完了，对于DCGAN的实战，可以参照GAN系列的第一篇博客：【GAN】一、利用keras实现DCGAN生成手写数字图像。

在接下来我们将将介绍CGAN即条件GAN，条件GAN的提出使得GAN根据某种条件进行生成图片，即可以使得GAN无监督算法转变成了有监督算法。