可控文本生成

文章链接：http://pdfs.semanticscholar.org/efbc/200feab74e5087c4005d8759e5dadb3a3077.pdf

1)  文本生成过程：通过VAE网络重建输入文本。

2）模型对生成信息的控制：

2.1）在VAE网络的隐藏层中加入unstructure变量c，作为attribute的信息输入。

2.2）模型中加入了discriminator作为分类器，将生成语句作为输入，重建structure变量，文章中对于每一个attribute使用一种discriminator。

2.3）模型中利用encoder，重建生成语句的unstructure变量，使得模型在生成过程中能够尽可能的区分unstructure变量以及structure变量。

3）模型训练：

3.1）模型先训练不带属性标签c的语料库X，训练过程中c通过先验分布p(c)抽样得到。

3.2）独立训练各判别器，判别器的训练数据来自于两部分，一部分通过真实带标签数据进行训练，其过程为一标准的有监督学习，另外一部分数据是通过generator生成得到的合成数据，这部分数据在处理过程中为了处理噪声数据以及增强模型优化的稳定性，加入了最小正则熵一项。

3.3）训练VAE网络中的decoder（generator）以及encoder。其中encoder通过VAE网络的优化函数进行优化；generator的优化过程需要综合VAE的优化函数，以及重建stru