Utterance Manipulation Strategies（UMS） For Multi-turn Response Selection-论文阅读

Do Response Selection Models Really Know What’s Next? Utterance Manipulation Strategies For Multi-turn Response Selection-论文阅读
会议：AAAI 2021
原文链接：
https://arxiv.org/abs/2009.04703v1

摘要（翻译）：

在本文中，我们研究了在基于检索的多回合对话系统中，在给定用户和系统话语历史的情况下选择最佳回答的任务。最近，经过预训练的语言模型（如伯特、罗伯塔和伊莱克特拉）在各种自然语言处理任务方面都有显著的改进。这种和类似的回答选择任务也可以通过使用这种语言模型来解决，方法是将任务表述为对话-回答二分类任务。尽管使用这种方法的现有工作成功地获得了最先进的结果，但我们观察到，以这种方式训练的语言模型倾向于根据历史和候选对象的相关性进行预测，而忽略了多回合对话系统的顺序性。这表明单独的回答选择任务不足以学习话语之间的时间依赖关系。为此，我们提出了**话语操纵策略（utterance manipulation strategies，UMS）**来解决这个问题。
具体来说，UMS包括几种策略（即插入，删除和搜索），这有助于回答选择模型保持对话一致性。此外，UMS是一种自我监督的方法，不需要额外的注释，因此可以很容易地并入现有的方法中。在跨语种数据集和模型上的广泛评估表明，UMS在教学对话一致性方面非常有效，这导致模型在多个公共基准数据集上以显著的优势推动了最先进的技术。

一、 介绍：

将传统语言