半监督vae用于情感分类的论文汇总阅读：Variational Autoencoder

1.AAAI-2017-Variational Autoencoder for Semi-Supervised Text Classification

摘要：

虽然半监督变分自动编码器 (SemiVAE) 在图像分类任务中工作, 但如果使用vanilla LSTM作为解码器, 则在文本分类任务中失败。从强化学习的角度出发, 验证了解码器区分不同分类标签的能力是必不可少的。因此, 提出了半监督顺序变分自动编码器 (SSVAE), 通过在每个时间步长向其解码器 RNN 输入标签来提高其性能。研究了两种特定的解码器结构, 并验证了这两种结构的有效性。此外, 为了降低训练中的计算复杂度, 提出了一种新的优化方法, 即通过采样估计未标记目标函数的梯度, 并采用两种方差约简技术。在大型电影评论数据集 (IMDB) 和 AG 的新闻语料库上的实验结果表明, 与纯监督分类器相比, 该方法显著提高了分类精度, 并在竞争性能方面取得了更高的竞争力。以前的高级方法。通过整合其他基于预引导的方法, 可以获得最先进的结果。

主要贡献如下：

1）vanilla LSTM将误导解码器忽略标签输入，从而忽视y，在序列输入分类中失败。我们使用在每个step接收标签的 conditional   LSTM 使 SSVAE 有效, 并从 RL 的角度给出解释。对两个似是而非的 conditional   Lstm 进行了调查。
2）提出了一种优化方法, 通过采样降低 SSVAE 的计算复杂度。并提出了两种不同的基线方法来减小优化方差。通过使用这些基线进行采样, 可以更快地训练模型, 而不会丢失准确性。
3）我们通过在 IMDB 数据集和 AG 的新闻语料库上提供具有竞争力的结果来展示我们方法的性能。我们的模型能够实现非常强劲的性能与当前的模型。

与图像数据的实现不同, 在我们的模型中, 序列数据是由递归网络来建模的。具体而言, 编码器 fenc (·) 和分类器 q (y x) 被 LSTM 网络所取代。
 

对我自己的帮助:

1)指出如果将y和z 串行连接（concatenated）来初始化lstm的话，模型有忽视y的趋势，然而y又是非常重要的。于是通过在每个时间步中feed标签y来提高y对模型的影响，简单有效 ；

2）对于第一点的方法，本文用了两个结构，一个是在每个时间步串联了词嵌入和标签SSVAE-1。 另一个是直接让标签信息不经过四个门单元直接通过记忆单元SSVAE-2

3）SemiVAE的一个限制是数据集的类的规模，因此用蒙特卡洛方法采样可以减少计算复杂度，提出了两种采样方法，S1,S2是指不同 的采样基准， SSVAE-1,2是指 不同的条件LST M实现。

数据集上：

IMDB，AG’s News，无标签数据是从有标签数据转化来的，同时确保数据是平衡的。

2.arXiv.org  -2018-Data Augmentation for Spoken Language Understanding via Joint Variational Generation

摘要：

数据稀缺是语言理解 (SLU) 领域适