Improved Variational Autoencoders for Text Modeling using Dilated Convolutions论文笔记

Introduction

我们的贡献如下: 首先, 我们建议使用一个扩大的 cnn 作为一个新的解码器的 vae。然后, 我们对具有不同容量的多个扩展体系结构进行了经验评估, 发现上下文容量的降低会导致对潜在表示的更强大依赖。通过选择具有适当上下文容量的解码器, 我们发现我们的 vae 在两个数据集中的性能优于 lstm 语言模型。我们还探讨了使用扩张的 cnn vae 进行半监督分类的方法, 并发现它们的表现好于来自 (dai & le, 2015年) 的强基线。最后, 我们验证了相同的框架可以有效地用于无监督的聚类

2 Model

在本节中, 我们首先提供有关使用变分自动编码器进行语言建模的背景。然后介绍了扩展的 cnn 架构, 我们将作为一个新的解码器的 vae 在实验中。最后, 我们描述了 vae 的推广, 我们将用于进行半监督分类实验。

2.1. Background on Variational Autoencoders

2.2. Training Collapse with Textual VAEs

这种生成模型和变分推理过程的结合通常被称为变分自动编码器 (vae)。我们还可以将 vae 视为自动编码器的正则化版本。但是, 请注意, 虽然 vae 是有效的概率模型, 其可能性可以根据隐藏的数据进行评估, 但自动编码器不是有效的模型。如果只使用 vae 变分约束 eq (z x) [log p (x z)] 的第一个术语作为目标, 则后验 q (z x) 的方差就会变小, 训练过程就会退化到自动编码器。它是 kl 发散项, kl (q (z x)p (z), 它不鼓励