VAE for 文本生成

VAE详解：https://spaces.ac.cn/archives/5253

      变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative model），它于2013年由Diederik P.Kingma和Max Welling提出[1]。2016年Carl Doersch写了一篇VAEs的tutorial[2]，对VAEs做了更详细的介绍，比文献[1]更易懂。

      VAE的总体目标和GAN基本一致，都是希望通过构建一个从隐变量Z生成目标数据X的模型，他们假设Z服从某种常见分布（比如正态分布），然后训练一个模型X=g(Z),这个模型能够将原来的概率分布映射到训练集的概率分布，这样我们就通过这边模型生成与符合训练数据概率分布的新的数据了。

         

与自编码对比：

      自编码通过编码器将输入x进行编码成z，然后通过解码器将z解码成x`,使得x`与x一样。缺陷：1.需要有原始输入，是有监督的；2.生成的结果是使得x`与原始输入一样，不能泛化生成多样的结果。3.主要用于获取输入的隐藏表示。

     变分自编码结构与自编码类似，也是由编码器和解码器构成,不同的是在编码的目标是生成一个概率分布 q(z|x)代替确定性z来重建输入，强制模型将输入映射到空间的区域而不是单个点,。在这种情况下，实现良好重构误差的最直接方法是预测非常潜在的概率分布，有效地对应于潜在空间中的单个点（Raiko等人2014）。引入 KL divergence 让后验 q(z|x) 接近先验 p(z).

 

VAE在文本生成领域的应用：

  

【 A Hierarchical Neural Autoencoder for Paragraphs and Documents】- ACL 2015

  理解可参考博文： https://mp.weixin.qq.com/s/TsCnPxcVI0BTRcQClqDiCA

  实质：以自编码框架为基础，通过分层编码和解码的方式将词与句子信息综合考虑。如下图，虚线部分为attention

          

 

【  Generating Sentences from a Continuous Space】-第20届计算自然语言学习大会 2016

参考博文： https://blog.csdn.net/lrt366/article/details/89388171

 

     作者为了弥补传统的 RNNLM 结构缺少的一些全局特征（其实可以理解为想要 sentence representation）。其实抛开 generative model，之前也有一些比较成功的 non-generative 的方法，比如 sequence autoencoders[1]，skip-thought[2] 和 paragraph vector[3]。但随着 VAE 的加入，generative model 也开始在文本上有更多 的可能性。

      Loss 的组成还是和 V