GAN前沿问题讨论：GAN的训练和batch size的关系

我们知道在图像分类任务中，较大的batch size有助于提升分类性能，那么我们的问题是较大的batch size是否能提升GAN的性能呢？

有人或许觉得这个答案应该是肯定的。毕竟大多数GAN中，discriminator就是一个图像分类器。如果大的batch size能够对梯度噪声有一定减缓作用的，那么它应该可以加速训练过程。

但是，GAN还有一个问题是普通分类器所没有的：GAN的训练可能会发散（损失是震荡的），而不像普通分类器那样理论上可以收敛到某一个点（如损失为0）.基于此，我们可以提出新的问题：我们应该如何调整GAN中的batch size？梯度噪声在训练GAN的过程中有多大的作用？GAN的训练是否可以通过调整batch size来优化呢？

目前已经有些实验表明提高batch size有助于提高生成图片的质量，也有助于减少训练的时间（可见参考论文【1】）。如果这个现象是普遍的话，这表明在GAN训练过程中梯度噪声是一个显著的影响因素。但是目前这并没有被大量研究，我们相信这个问题仍然是值得做的。

大的batch size是否有助于训练呢？论文【2】似乎说明了它似乎比其他GAN有更好的收敛特性。但是他们增加batch size是因为想对更多的训练数据做配准。我们认为有可能这会是一个潜在的方案来提升GAN的训练。

参考文献

1. Large Scale GAN Training for High Fidelity Natural Image Synthesis
2. IMPROVING GANS USING OPTIMAL TRANSPORT