链接:http://arxiv.org/abs/2010.08824v1
简介
本文提出了一种基于知识的对话系统PLUG。
什么是基于知识的对话系统(Knowledge-grounded dialogue systems)呢?
传统的对话系统大多是一个端到端系统,将历史对话和人类的问题作为输入,从而输出应答。但是,这种方法的一个弊端是:只考虑了历史对话,而没有考虑到话题本身,即:话题的知识。
比方说,我们在谈论NBA比赛,那我们会在脑海里回忆有关NBA的各种信息。
为了将话题本身的知识加入到对话系统中,基于知识的对话系统被提出了。系统可以基于对话语境和外部知识来源,生成信息丰富且有意义的回答。
然而,目前的系统大多有两个问题:
- 数据太少。我们需要的数据是基于知识的对话,基本上只能人工生成,又耗钱又耗时,因此大部分数据集都很小(如表1)。
- 格式太杂。这也是上一条带来的后遗症了:每个数据集太小,那就只能多用几个数据集。但是呢,在不同的任务中,知识的格式也不同。例如,REDIAL的电影数据库利用了图结构,而Wikipedia的Wizard是以文档为基础的对话任务,两者没法一起应用。
对此,本文提出了一个可以统一不同知识格式的模型:PLUG。
首先,我们将不同的知识格式转换为非结构化文本,然后使用预先训练好的语言模型将其处理成统一的密集表示,从而将知识表示整合到对话生成中。
我们对PLUG进行了不同知识背景对话语料库的预训练,包括来自Reddit的大规模开放领域对话数据集。这使得PLUG能够从不同的任务中以不同的形式学习知识,并通过少量的学习技巧转移到任何基于知识的对话任务中。
经过基准测试,PLUG可以达到与最先进的方法相当的效果。在zero-shot和few-shot条件下,它在两个任务上都优于其他方法,这PLUG可以基于不同知识来源的世界知识,并推广到不同的下游任务。
Approach
基于知识的预训练
传统的知识对话包括三个主要步骤:信息抽取、知识预测和响应生成。PLUG选择T5作为主干网络。
T5是一种先进的序列到序列的预训练Transformer模型,可以用于迁移学习。T5的训练方法是将各种语言任务转换为文本到文本的任务。在对对话数据集进行微调后,T5可以生成流畅而连贯的响应。
然而,答案往往过于笼统,因为它们没有以具体的知识为基础。PLUG是在普通的T5模型上训练的,但在训练过程中是基于现实世界的知识,使它继承了T5产生类似人类反应的能力,但包含了更多的知识。
PLUG
我们将基于知识的对话表述为:
D = { C , R , S } D = \{C, R, S\} D={
C,R,S}
其中 C = { C i } i = 1 n C = \{C_i\} ^n_{i=1} C={
Ci}i=1