《hierarchically-structured variational autoencoders for long text generation》论文阅读

 

摘要：

变异自动编码器 (VAEs) 作为文本生成端向体系结构最近备受关注。现有方法主要侧重于合成相对较短的句子(少于20个单词)。在本文中,我们提出了一个新的框架,分层结构变异自动编码器(hier-VAE),用于生成长而连贯的文本单元。为了提高模型的超前能力,将中间句表示引入生成网络,以指导字级预测。为了缓解与文本 VAE 相关的典型优化挑战,我们进一步在编码器和解码器网络之间采用了随机层层次结构。进行了广泛的实验来评估所建议的方法,其中hier-VAE被证明能有效地利用潜规则,并降低与语言模型相比的困惑。此外,根据自动和人工评估,从 hier-VAE 生成的样品也表现出卓越的质量

总结：

这是一篇2019年的ICLR在投的论文，我就随便看了下它的模型和公式部分，主要是用VAE的分层结构，以及词级别信息进行长文本的生成，模型如下

它的公式如下，z1是在z2的基础上采样的