论文阅读笔记《Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System》

面向即插即用任务的对话系统的多任务预训练

Abstract

预先训练的语言模型最近被证明有利于面向任务的对话（task-oriented dialogue，TOD）系统。尽管取得了成功，但现有方法通常将此任务描述为级联生成问题，这可能导致不同子任务之间的错误累积和更大的数据注释开销。在本研究中，我们提出了一个统一的即插即用任务导向对话模型PPTOD（plug-andplay model for task-oriented dialogue）。此外，我们引入了一种新的对话多任务预训练策略，允许模型从异构对话语料库中学习主要的TOD任务完成技能。我们在三个基准TOD任务上广泛地测试了我们的模型，包括端到端对话建模、对话状态跟踪和意图分类。实验结果表明，在高资源和低资源场景下，PPTOD在所有评估任务上都达到了新的境界。此外，与以前的SOTA方法的比较表明，PPTOD生成的响应更符合人类注释人员的判断，在语义上更一致。