DCGAN（深度卷积生成对抗网络）

深度卷积生成对抗网络的无监督表示学习

近年来，卷积网络的监督学习在计算机视觉应用中得到了广泛的应用。相比之下，使用中枢神经系统的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合监督学习和非监督学习的中枢神经系统之间的差距。我们引入了一类称为深度卷积生成对抗网络(DCGANs)的CNNs，它们具有一定的体系结构约束，并证明了它们是无监督学习的强有力的候选对象。在各种图像数据集上进行训练，我们展示了令人信服的证据，表明我们的深度卷积对抗对在生成器和鉴别器中学习了从对象部分到场景的表示层次。此外，我们将所学的特征用于新的任务——证明它们作为一般图像表示的适用性。

方法和模型架构

历史上曾尝试用中枢神经系统来模拟图像，但没有成功。这促使LAPGAN (Denton等人，2015)的作者开发了一种替代方法来迭代放大低分辨率生成的图像，这种方法可以更可靠地建模。我们还遇到了困难，试图使用在监督文献中常用的CNN架构来扩展GANs。然而，经过广泛的模型探索，我们发现了一个建筑家族这种技术能够在一系列数据集上进行稳定的训练，并允许训练更高分辨率和更深层次的生成模型。我们方法的核心是采用和修改CNN架构的三个最近演示的变化。第一种是全卷积网络(Springenberg等人，2014)，它用交错卷积代替确定性空间池函数(如最大池)，允许网络学习自己的空间下采样。我们在生成器中使用这种方法，允许它学习自己的空间上采样和鉴别器。第二个趋势是在卷积特征上消除完全连接的层。这方面最强有力的例子是全球平均池，它已被用于最先进的图像分类模型(Mordvintsev等人)。我们发现全局平均池提高了模型的稳定性，但损害了收敛速度。将最高卷积特征分别直接连接到发生器和鉴别器的输入和输出的中间基础运行良好。GAN的第一层以均匀的噪声分布Z作为输入，可以称为完全连接，因为它只是一个矩阵乘法，但结果被重新整形为4维张量，并用作卷积堆栈的开始。

对于鉴频器，最后一个卷积层被平坦化，然后馈入单个sigmoid输出。参见图1的示例模型架构的可视化。第三个是批量归一化(Ioffe & Szegedy，2015)，它通过归一化每个单元的输入以具有零均值和单位方差来稳定学习。这有助于处理由于初始化不佳而出现的训练问题，并有助于更深模型中的梯度流动。事实证明，这对于让深层发生器开始学习至关重要，可以防止发生器将所有样本压缩到一个点，这是在GANs中观察到的常见故障模式。然而，将batchnorm直接应用于所有层会导致样本振荡和模型不稳定。这是通过不对生成器输出层和鉴别器输入层应用batchnorm来避免的。除了使用Tanh函数的输出层之外，生成器中使用了ReLU激活(Nair & Hinton，2010)。我们观察到，使用有界激活允许模型更快地学习饱和和覆盖训练分布的颜色空间。在鉴别器中，我们发现漏整流激活(Maas等人，2013年)(徐等人，2015年)工作良好，特别是对于更高分辨率的建模。这与最初的GAN纸形成对比，最初的GAN纸使用了maxout激活(Goodfellow等人，2013)。