超级会员免费看
可控文本生成(CTG)是通过对文本生成过程中的属性、风格进行控制，以满足特定需求的技术。它涉及基于Pre-trained Language Model(PLM)的多种方法，如Fine-tuning、Retrain/Refactor和Post-Process。CTG应用场景广泛，包括属性控制、对话生成、故事讲述等。主要的PLM结构有BERT、GPT等，各具不同的预训练任务。文章探讨了CTG的不同流派，包括改良派的指令微调、改革派的重新训练和保守派的后处理技术，以及各自代表性的研究工作。
一、Controlable Text Generation(CTG)定义与应用
1. 什么是CTG
Controlable Text Generation，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义：
A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models[1]
论文中给出了两个简单的例子：
第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。
作者对CTG总结了这么一个Input-Process-Output的总体框架，简称IPO：
订阅专栏 解锁全文
扫一扫
1081
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
