利用深度可分离卷积(depth-wise seperable convolution)和DCGAN生成二次元头像

代码放在了github上：Mobilenet+GAN
因为国内对discriminator的叫法很多，所以笔者这里就直接用英文了。
二次元头像只需要利用最简单的DCGAN网络结构就可以稳定，快速地训练出来。因为本篇重点不是DCGAN，这里对DCGAN就不做介绍了。
笔者这次利用Mobilenet-v1中的depth-wise seperable 结构来做GAN的鉴定器，并与DCGAN进行对比。也对一些参数进行了调整以做对比。

1、depth-wise seperable 结构用作discriminator时，训练结果并不稳定，而且收敛较慢，效果不太好。
2、处理图片时，归一化到【-1,1】比【0,1】好，后者生成的图片偏亮。还有在保存生成的图片时，一定要讲生成器调为eval模式，否则生成图片依然会偏亮。
笔者遇到的生成图片偏亮除了面提到的原因以外还有：discriminator第一层卷积层后面放置BN层。

3、discriminator太强时，生成器就已经学不到东西了。这里可以参考知乎上面一篇还算详细的推导：链接
4、我们一般在更新完discriminator后更新生成器，这时我们会重新产生一个生成器的输入，经过生成器拟合以后，然后再把生成器的输出拿给discriminator打分，并更新生成器参数。笔者尝试同时更新两者的参数：即
只产生一次输入，得到discriminator的输出后，同时计算loss，并对discriminator以