A Hybrid Convolutional Variational Autoencoder for Text Generation论文阅读

为了改进 KL 迅速降到 0，提出 convolutional 和 recurrent 结合的 VAE

 

Abstract

本文探讨了体系结构选择对学习文本生成的变分自动编码器 (vae) 的影响。与以前引入的文本 vae 模型相比, 编码器和解码器都是 rnn 的 vae 模型, 我们提出了一种新的混合体系结构, 将完全前馈卷积和去卷积组件与重复语言模型融合在一起。我们的体系结构具有几个有吸引力的特性, 如更快的运行时间和收敛性, 能够更好地处理长序列, 更重要的是, 它有助于避免在文本数据上训练 vae 模型所带来的一些主要困难。

 

Introduction

生成的文本模型目前是自然语言理解的基石, 有助于最近在机器翻译方面取得突破 (bahdanau 等人, 2014年;wu 等人, 2016年), 对话建模 (serban 等人, 2016年), 摘要摘要 (rush 等人, 2015年) 等。

目前, 基于 rnn 的生成模型保持着最先进的结果, 这两个结果都是无条件的 (jozefowicz 等人, 2016年;ha 等人, 2016年) 和有条件 (vinyals 等人, 2014年), 文本生成。在较高的层次上, 这些模型代表了一类自回归模型, 在下一个预测元素以迄今生成的元素的历史为条件的时候, 通过按顺序生成输出一步来工作

学习基于 vae 的生成模型的主要目的是能够生成现实的例子, 就好像它们是通过简单地通过解码器输入噪声向量从输入数据分布中得出的一样。此外, 通过将编码器应用于输入示例所获得的潜在表示形式提供了对生成过