基于语义分割的不完整话语重写

近年来，不完整话语重写的任务引起了广泛关注。以前的方法通常将其转换为机器翻译任务，并采具有复制机制的生成模型。在本文中，作者将该任务转换为语义分割任务，引入了基于词的编辑操作，并将问题重新定型为词编辑矩阵的预测。这种方法能够捕获本地和全局信息，在多个公共数据集上实现了最优性能，并且比标准方法快四倍。

刘乾：北京航空航天大学与微软亚洲研究院联合培养博士，主要关注在上下文建模、语义解析、组合泛化等话题，目前以第一作者身份在ACL, EMNLP, NeurIPS等会议发表若干论文。

一、对话中的共指消解问题

多轮对话中，因为用户在句子间倾向于使用不完整的表达，通常会忽略对话上下文中出现的实体或概念，即共指消解。根据以前的研究，在超过70％的对话中存在共指消解，因此对话系统必须共指消解的处理能力。最近，研究人员专注于一个更明确和可解释的解决方案：不完整话语重写（Incomplete Utterance Rewriting, IUR，也称为上下文重写）。IUR的目的是将不完整的话语改写成在语义上等效但无需上下文即可的话语。如表1所示，不完整话语x3不仅省略了主题“北京”，而且还通过“这样”来指代“阴天”的语义。通过将x3的隐藏语义显式恢复出来，生成x₃^*，IUR可以使下游对话建模更加精准。

 

表 1  IUR任务数据示例

大多数情况下，共指和省略都可以不通过引入原句子以外的词解决。也就是说，重写句子的词几乎来自上下文或本句。基于此发现，之前的大多数工作采用指针网络或具有复制机制的生成模型。这些模型通过逐字解码来生成重写的句子，但是它们都忽略了一个关键特征，即大部分情况下重写句子的主干结构与原句相同。举例来说，读者可以将重写的句子想象为对原句的一系列编辑操作（即替换和插入）后的结果。以表1为例，通过将x3中的“这样”（this）替换为x2中的“阴天”（cloudy），并在“为什么”（Why）之前插入“北京”（Beijing），可以获得x₃^*，比逐字解码产生x₃^*容易得多。这些编辑操作是在上下文话语和原句子之间进行的，类似于图像中的语义分割任务。把词对之间的相关性视作图像，模型将预测编辑每个单词对的类型作为掩码。基于上述思想，本文提出了一种新颖且通用的方法，将IUR任务视为一个为语义分割任务。

二、 基于语义分割的不完全话语重写

图1 词级的编辑矩阵

在本节中，作者将阐述思想基本概念：使用语义分段编辑不完整的话语。

在多回合对话中，给定上下文话语(x₁,…,x_t-1)和不完整的话语x_t，IUR将使用上下文信息将x_t重写为x_t^*，其中x_t与改写的话语x