paper:https://arxiv.org/abs/2002.12328
code/data/demo:http://scgpt.westus2.azurecontainer.io/
目前任务导向型对话存在的问题,要么依赖固定对话生成的模型,要么只能在一些具体领域的基于一些有限标注数据集进行训练。本文提出了一个基于”预训练-预训练-微调”的模型,目的是提高任务导向型对话生成的文本的流畅性和准确度;
流程是首先在通用语料上预训练,然后在大量对话数据集上预训练,最后再使用具体领域的数据集进行微调,能极大地提高所生成回复的质量。
SC-GPT和两个基线模型(SC-LSTM、GPT-2)的实验结果:可以看到,在所有7个领域,SC-GPT生成的文本既更流畅(BLEU更大),而且也更准确(ERR更小),超越幅度也非常大。
paper note:https://zhuanlan.zhihu.com/p/110164562
针对Few-shot 的应用场景,可以借鉴作者的基于”预训练-预训练-微调”的方法,并且代码也以及开源;