[ICLR 2016] Unsupervised representation learning with DCGANs

Introduction

• 作者提出了用 CNN 搭建 GAN，使得 GAN 训练更加稳定的一系列准则，并将满足这些设计理念的模型称为 DCGANs (Deep Convolutional GANs). 此外，作者将 trained discriminators 用于图像分类任务，相比于其他无监督算法取得了较好的效果，这证明模型通过无监督学习学得了很好的图像特征表示

Model Architecture

• (1) Replace any pooling layers with strided convolutions (discriminator) (下采样) and fractional-strided convolutions (generator) (上采样).
• (2) Remove fully connected hidden layers for deeper architectures. generator 的输入层为全连接层，输入 uniform noise distribution $Z$，输出 reshape 为 4-dimensional tensor 后作为卷积网络的输入。discriminator 的输出层为输出通道数为 1 的卷积层，它的输出直接送入 sigmoid
• (3) Use batchnorm in both the generator and the discriminator. 但作者也发现在所有层里都使用 BN 会导致训练的不稳定，因此作者在 generator output layer 和 discriminator input layer 中都不使用 BN
• (4) Activation function. generator 除了输出层用 Tanh 外，其余层都用 ReLU，这是因为作者发现在输出层使用 bounded activation 有助于模型更快地饱和并覆盖到训练集分布的颜色空间；discriminator 所有层都使用 LeakyReLU
  

References

• paper: Radford, Alec, Luke Metz, and Soumith Chintala. “Unsupervised representation learning with deep convolutional generative adversarial networks.” (ICLR 2016).