对抗生成网络GAN可以合成什么样的模型和数据？

目前，大多数的GAN都主要集中在生成图像上，且依赖于一些标准的数据集。像MNIST，CIFAR-10，STL，CelebA和imageNet等。传闻中，GAN在某些数据集上要好于另一些数据集。特别的，生成像CIFAR-10和CelebA的图片要比生成像imagenet一样的图片要容易些。还有一些人注意到用GAN生成像ImageNet这样有很多标签或者类的图像有点难。这些经验基本上都有一些实验结果支撑着。

但是，我们应该通过一些理论来证明为什么在有很多标签更复杂的数据集上训练GAN有一些困难。特别的，我们最好知道为什么GAN在这些数据集上发生了什么作用。

一般情况下，我们可以先看一下数据集，做一些前期的计算（这时我们可能并没有做一些实际的GAN训练过程），然后我们可以说用GAN去生成这些数据是可以的，但是其他一些生成模型可能不行。这里，我们认为有更多的事情值得被做，进而提出一个问题：

问题：给定一个分布，GAN去模拟或生成这个分布有多难呢？

与此相关的，我们可能会问一些其他问题，如：模拟这个分布是什么意思？我们是否满足建立一个较低支集的模型表示？或者我们最理想的结果是生成一个几乎真实的概率密度分布？这些分布是否可以使用GAN来学习呢？对于GAN来说，这些问题的答案是否与其他生成模型不同呢？

我们对此有两个策略：

1. 合成数据集：我们可以去研究合成的数据集，来调查哪些特性可以学习，哪些特性不可以被学习。例如，论文【1】就创建了一个合成的三角形数据集，我们觉得我们可以进一步去研究。合成的数据集或许也可以被参数化方法来表示，比如连接性或者光滑性。这样的一个数据集也可以被用来研究其他生成模型。
2. 修改现有的理论分析结果：我们可以使用现有的理论结果并尝试修改一些假设条件以用在不同特性的数据集上。例如，我们可以看一看GAN在给定单一分布的数据集上训练会得到什么样的结果，然后也看看当数据集变成多模态时会发生什么。

以下我们再说一说笔者目前所了解的GAN生成上的一些难点：
1。多类别生成难于单类别生成，或者说GAN生成的多样性不是很好，这也就是所谓的模式坍塌问题。
2.生成细节较难，GAN用来生成一些具有高度抽象的数据较为容易，相对来说生成具有清晰细节就比较难些。比如，生成高维特征或隐空间变量【2】较容易，还比如一些空间坐标【3】。但是相对来说，具有细节的图像则难一些，如imageNet。细节上会比较容易出现artifact，而高维特征则不存在这个问题。换句话说，GAng目前还无法有较好的局部理解能力。
3.大分辨率较难。

1：Are GANs Created Equal? A Large-Scale Study
2：Classification-Reconstruction Learning for Open-Set Recognition
3:LayoutGAN: Generating Graphic Layouts with Wireframe Discriminators

参考网址：Open Questions about Generative Adversarial Networks