GAN 对抗生成网络中什么是模式倒塌mode collapse？

本篇博文讲讲对抗生成网络中的模式倒塌问题，可以讲，这个问题是我们生成网络的重要难题之一。
实际上，我觉得在我们人类的学习过程中也会出现类似的情况。

在GAN中，有一个生成器，还有一个判别器，生成器就是生成图片或者其他的什么，而判别器就是帮助生成器不断变好。有人将生成器和判别器理解成造假钞和辨别假钞的。两者的能力都互相增长。刚开始生成器并不好，假钞一点也不像真的，这时候判别器很轻松的就知道了假钞是假的。为了生存下去，生成器试图将假钞变得越来越真，到最后以至于和真钞没有区别了。而这样的生成器肯定就是非常完美的，那么模式倒塌又是什么问题呢？

我们知道人民币有好几个面额的纸币。假钞制造团伙发现如果他们将全部精力都放在制造一种面值的货币时最容易获得成功。而这时候，模式倒塌也就发生了。虽然这个假钞制造团伙能够制造出十分真实的货币，但却只有一种，而这有时并不是我们希望的。我们希望假钞制造团伙能生成所有的币值人民币。

其实我们人类在学习中也会出现这样的问题。假设有一个木匠师傅带着一个徒弟，这个师傅特别的厉害，会做板凳，椅子，桌子等等。徒弟想要离开师傅自己立足下去则他也需要会很多，最好是和师傅一样多，甚至更多。
这个徒弟就是生成器，师傅也就是真实的样本。我们再假设一个需要家具的人，并将他看作是判别器，这个客户来判断这个徒弟是不是能够打出和师傅一样的家具出来。而这个徒弟学习了很久能够且仅仅能够完美的复现师傅做的椅子，而无法做出板凳，桌子什么的。而这也就是模式倒塌了。

说到这里，各位或许明白了，我再重新整理一下：
真实世界中有一个模型能够生成一些东西，但是我们不知道它怎么生成的。
我们就想训练一个模型，也就是生成器，希望它能和真实世界的模型一样。
为了训练这个生成器，我们设置一个判别器，让它来评价生成器生成的结果是否足够真。
而模式倒塌就是生成器生成的结果是真的，但是多样性不足。自然界中可以有很多模式，但是我们的生成器只会其中的几种。

而问题出现在哪里呢？
从本质上讲，我们的判别器不惩罚生成器是否有多样性，只要是真的就行。