可控文本生成技术

介绍

Prabhumoye 等人[1]对可控的文本生成技术进行了综述，神经控制文本生成是一个重要的研究领域，因其应用的广泛性而备受关注。这篇论文中提供了一个 新的模式的流水线生成过程，把它分为五个模块，包括外部输入控制、序列输入控制、生成器控制、输出控制及训练控制。

① 外部输入:

a) 引入外部可控向量 s 作为输入。引入的方法有:
1.concatenation: h0 = [he; s];
2. linear transform: h0 = tanh(w1 he + w2 s + b)。其中he为 encoder 输出隐层向量，h0为 decoder 的输入。
论文中提到 linear transform 效果要比 concatenation 好。

b) Stochastic changes: Variational auto-encoder。VAE 用于可以将控制属性表示为隐变量 z，比如 style，topics，strategies 等; 但很难用于基于 content 的任务，如: 具体的信息，keywords，或者 entities。

c) Decompose: he解构为多种 subspaces。Decompose 方法需要输入 x 中包含控制属性的信息; 不适用与外部提供的控制属性。

d) External Feedback: adversarial loss。

② 序列输入

在 decoder 的每个时间步加入控制向量 s。不过这样效果不如对外部输入进行操作。

③ 生成器

对 RNN 的变体，和 attention 结合。Transformer-based 模型， Pre-trained model， GPT2，BEAR， PPLM。

④ 输出

a) Attention
b) Adversarial loss
c) Linear transform

⑤ 训练目标

a) General loss: Cross entropy loss; Unlikelihood loss; Decoding strategies
b) KL divergence
c) Classifier loss
d) Task specific loss: Strategy loss; Coverage loss; Structure loss

很多工作是将上述几种方法结合来控制文本生成。

参考文献：

[1] Prabhumoye S, Black A W, Salakhutdinov R. Exploring Controllable Text Generation Techniques[J]. arXiv preprint arXiv:2005.01822, 2020.