UC Berkeley提出变分判别器瓶颈，有效提高对抗学习平衡性

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 116 篇文章

作者丨武广

学校丨合肥工业大学硕士生

研究方向丨图像生成

本期推荐的论文笔记来自 PaperWeekly 社区用户 @TwistedW ，作者今天要解读的是 UC Berkeley 投稿 ICLR 2019 的工作。

对抗学习中判别器一直保持着强大的侵略优势，造成了对抗中的不平衡。本文采用变分判别器瓶颈（Variational Discriminator Bottleneck，VDB），通过对数据样本和编码到的特征空间的互信息进行限制，提高判别器的判别难度，进而提高了对抗学习中的平衡性。实验表明 VDB 思想可以在 GAN、模仿学习和逆强化学习上取得不小的进步。

引言

生成对抗网络中判别器在二分类游戏上表现了强大的区分能力，RSGAN 使用相对判别器将真假样本混合利用“图灵测试”的思想削弱了判别器的能力，T-GANs 将 RSGAN 一般化到其它 GAN 模型下，判别器得到限制在整体上平衡了生成器和判别器，可以使 GAN 训练上更加稳定。VDB 则通过对判别器加上互信息瓶颈来限制判别器的能力。

论文引入

GAN 存在两大固有问题，一个是生成上多样性不足；另一个就是当判别器训练到最优时，生成器的梯度消失。造成梯度消失的原因在于生成样本和真实样本在分布上是不交叠的，WGAN [1] 提出可以通过加入噪声来强制产生交叠，但是如何控制噪声加入以及能否保证交叠都是存在问题的。WGAN 以及它的改进虽然在 GAN 训练中稳定性上提高了，但是对于样本真假的二分类判别上，判别器展现了过于强大的能力，这样打破了对抗上的平衡问题，最终还是造成训练阶段的不稳定（不平衡，生成质量提不上去）。 

RSGAN 提出了采用相对判别器通过区分真假样本混合在一起判断真假，这样判别器不再是判断真或假，还要在一堆样本下将真假样本分开。这样对于判别器的要求提高了，难度上来后自然会进一步平衡训练，