MaskGAN：谷歌大脑让AI学做完形填空的新尝试

岳排槐 发自 凹非寺

又见一篇神标题论文。

来一起感受一下。

MaskGAN: Better Text Generation via Filling in the __

这又是什么鬼？标题里竟然还有需要填空的地方？能给论文起出这种标题，通常都不是泛泛之辈。比如之前的attention is all you need。

往下一看作者，果然。又是谷歌大脑的团队。三位作者有两位算是大名鼎鼎：William Fedus、Ian Goodfellow、Andrew M. Dai。

写GAN的论文，当然要有“好家伙”的参与加持，而Dai之前跟Geoffrey Hinton等合作过多篇论文。至于一作，目前在MILA读博，曾是谷歌大脑的实习生。

在这篇论文里，详细讨论了如何构建一个基于GAN的神经网络，来完成类似完形填空一样的任务。包括期间的探索、尝试、改进等等。

GAN最初设计用于输出可微分的数值，所以离散的语言生成对这种模型来说非常具有挑战性。为此作者引入了actor-critic架构。

论文也比对了不同方法的完形填空效果。最终他们给出结论：我们用定性和定量的方式表明，与最大似然训练的模型相比，新方法能产生更真实的有条件和无条件文本样本。

这篇论文目前已经提交ICLR 2018，在ICLR2018 Open Review Explorer上，对这篇论文的评分是“666”。仅供参考。

这篇论文的地址：

https://arxiv.org/abs/1801.07736