SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks论文笔记

另一篇很好的解释：https://www.itcodemonkey.com/article/6378.html

摘要

在自然语言生成领域, 不同情感标签的生成越来越受到人们的关注。近年来, 生成性对抗网 (gan) 在文本生成方面取得了良好的效果。然而, gan 产生的文本通常存在质量差、缺乏多样性和模式崩溃的问题。本文提出了一个新的框架--sentyan, 它有多个生成器和一个多类判别器, 以解决上述问题。在我们的框架中, 多个生成器同时进行训练, 旨在在没有监督的情况下生成不同情绪标签的文本。我们建议在生成器中建立一个基于惩罚的目标, 以迫使它们中的每一个产生一个特定情感标签的多样化例子。此外, 使用多个生成器和一个多类鉴别器可以使每个生成器专注于准确生成自己的特定情感标签的示例。在四个数据集上的实验结果表明, 我们的模型在生成文本的情感准确性和质量方面始终优于几种最先进的文本生成方法。

 

 Introduction

 

情商是人工智能的重要组成部分。自动理解和生成感情用事的文本不仅使机器对人类更友好, 而且使它们看起来更聪明。目前短篇文本的情感分类已经取得了良好的进展。例如, 最先进的情绪分类器之一在斯坦福情感树库数据集上的准确率达到了 90% [hu 等人, 2016年]。但与情感分类的成功相比, 一般的情感文本生成具有挑战性, 最近很少有人试图对其进行调查。以前的工作大多限于特定于任务的应用程序, 只是使用隐藏的变量间接控制生成文本的情绪标签, 特别是在情绪反应生成中 [zhou 等人, 2017年;周和王, 2017]。在感情用事的文本生成的深层生成模型中, 很难设计出合适的、具体的训练目标。生成性对抗网 (gan) [good7个等人, 2014年] 是解决这一问题的一个很好的办法, 它使用的是鉴别器, 而不是指导生成器的具体目标。主要直觉是, 由于文本情感分类非常强, 我们可以用分类器来指导感伤文本的生成

在本研究中, 我们的目标是利用 gan 生成各种高质量的感伤文本。也就是说, 在没有并行语料库的情况下, 我们可以在没有监督的情况下自动生成各种可控的感伤文本。然而, 在应用 gan 生成感伤文本时, 仍有一些挑战需要应对。首先, 文本的离散性质导致采样步骤是不可微的, 这使得梯度不可能从鉴别器传递到生成器。近年来, 一些研究将鉴别器引导生成器的过程作为强化学习政策 [yu 等人, 2017年;guo 等人, 2017年]。尽管如此, 生成的文本仍然面临质量差的问题。其次, gan 的主要缺点之一是 "模式崩溃" 问题, 经验证明, gan 更喜欢只围绕少数模式生成样本, 而忽略其他模式 [theis 等人, 2016]。因此, 生成的文本缺乏多样性。

我们提出一个新的文本生成框架----森蒂根, 以解决上述问题, 并生成不同情绪标签的文本。松根由多个发电机和一个多级鉴别器组成, 它们同时训练。与 [yu 等人, 2017] 一样, 我们认为序列生成过程是一个顺序决策过程。我们将每个生成模型视为一个随机参数化策略, 并使用蒙特卡罗搜索来近似状态动作值。然后利用鉴别器对生成模型的序列进行评价, 指导生成模型的学习。但与以前的作品不同的是, 我们的模型包含多