论文阅读：Few-shot Natural Language Generation for Task-Oriented Dialog

paper：https://arxiv.org/abs/2002.12328

code/data/demo：http://scgpt.westus2.azurecontainer.io/

目前任务导向型对话存在的问题，要么依赖固定对话生成的模型，要么只能在一些具体领域的基于一些有限标注数据集进行训练。本文提出了一个基于”预训练-预训练-微调”的模型，目的是提高任务导向型对话生成的文本的流畅性和准确度；

流程是首先在通用语料上预训练，然后在大量对话数据集上预训练，最后再使用具体领域的数据集进行微调，能极大地提高所生成回复的质量。

 

SC-GPT和两个基线模型（SC-LSTM、GPT-2）的实验结果：可以看到，在所有7个领域，SC-GPT生成的文本既更流畅（BLEU更大），而且也更准确（ERR更小），超越幅度也非常大。

          

 

paper note:https://zhuanlan.zhihu.com/p/110164562

针对Few-shot 的应用场景，可以借鉴作者的基于”预训练-预训练-微调”的方法，并且代码也以及开源；