受控文本生成的总结

**

受控文本生成

**
受控文本生成简单可分为主题控制、情感控制、毒性控制、风格控制。
Conditional Language Model 和 Plug and Play Language Model 可以说是让受控文本生成的里程碑式模型。如下图是两种模型的根据。

2021年的GEDI取得了很好的控制生成效果，感兴趣的可以读一下原文*GeDi: Generative Discriminator Guided Sequence Generation*
文中提出用小的语言模型作为生成式判别器来指引大型的语言模型更加安全和可控。文中对主题控制、情感控制、毒性控制，都进行了实验。
模型的示意如下图：

以期望的属性或控制代码为条件，而另一个以不期望的属性或反控制代码为条件。在生成中，不仅希望积极的词汇概率更高，还希望消极的词汇概率更低。在主题生成时，正确的主题是true标签，错误的主题是false标签。
以上仅限于作者的理解，持续更新。
参考文献
[1]: GeDi: Generative Discriminator Guided Sequence Generation
[2]: A Plug-and-Play Method for Controlled Text Generation
[3]: CTRL: A Conditional Transformer Language Model for Controllable Generation