（阅读）MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding

论文地址

代码

标题

MPC-BERT：一种用于多方对话理解的预训练语言模型

摘要

最近，用于多方对话（MPC）的各种神经网络模型在诸如接收人（addressee）识别、说话人识别和回复预测等任务上取得了令人印象深刻的改进。然而，现有的MPC方法通常都是将对话者和对话语句单独表征，而忽略了MPC固有的复杂结构，这种结构可以提供关键的对话者和对话语句语义信息，从而增强会话理解过程。为此，我们提出了MPC-BERT，这是一个预训练的MPC理解模型，它考虑在一个带有多个精心设计的自监督任务的统一模型中学习“谁对谁说什么(who says what to whom)”。具体地说，这些任务一般可分为：（1）对话者结构建模，包括回复语句识别、同一说话人搜索和指针一致性区分；（2）语句语义建模，包括掩码共享语句恢复和共享节点检测。我们在三个下游任务上评估MPC-BERT，包括接收人识别、说话人识别和回复选择。实验结果表明，MPC-BERT 大大优于以前的方法，并在两个基准数据集、三个下游任务上实现了当前最优的性能。

1 引入

建立一个具有智能的对话代理引起了学术界和工业界的极大关注。大多数现有的方法都是研究理解两名参与者之间的对话，旨在以基于生成（generation-based）（Shang等人，2015；Serban等人，20162017；Zhang等人，2018b，2020）或基于检索（retrieval-based）的方式（Lowe et al.，2015；Wu et al.，2017；Zhou et al.，2018；Tao et al.，2019a，b；Gu et al.，2019a，b，2020）返回一个恰当的回复。最近，研究人员更加关注一种涉及两名以上参与者的更实际和更具挑战性的情景，即众所周知的多方对话（MPC）（Ouchi and Tsuboi，2016；Zhang et al.，2018a；Le et al.，2019；Hu et al.，2019）。表1显示了Ubuntu互联网中继聊天（IRC）频道中的MPC示例，该表由一系列（说话人、对话语句、接收人）三元组组成。除了返回一个恰当的回复外，预测谁将是下一个说话人（Meng等人，2018）以及谁是对话语句的接收人（Ouchi和Tsuboi，2016；Zhang等人，2018a；Le等人，2019）是MPC中独特而重要的问题。

 MPC的一个实例总是包含对话者之间、语句之间以及对话者与语句之间的复杂交互。因此，建立对话流程模型并充分理解对话内容是一项挑战。现有的MPC研究利用神经网络学习对话者和语句的表征，其表征空间要么是独立的（Ouchi和Tsuboi，2016），要么是互动的（Zhang等人，2018a）。然而，对话者和语句表征中包含的语义可能无法有效捕获，因为它们来自两个不同的表征空间。最近，为了利用自然语言理解预训练语言模型（PLMs）的突破，一些研究建议将说话人（Gu等人，2020）或主题（Wang等人，2020）信息整合到PLM中。尽管在回复选择方面的表现有所改善，但这些模型仍然忽略了语句和对话者之间的内在关系，如“称呼语”。此外，大多数现有研究分别为MPC中的每个单独任务（例如，接收人识别、说话人识别和回复预测）设计模型。直觉上，这些任务是相辅相成的。同时使用这些任务可以更好地呈现对话者和语句的语境，并有助于提高对话理解，但在以往的研究中被忽视。

基于上述问题，我们提出了MPC-BERT，通过设计PLMs的自监督任务，联合学习（Joint Learning）MPC中的“谁对谁说什么”，从而提高PLMs对MPC的理解能力。具体来说，这五个任务包括回复语句识别、同一说话人搜索、指针一致性区分、掩码共享语句恢复和共享节点检测。前三个任务旨在以从语义到结构（semantics-to-structure）的方式对MPC中的对话者结构进行建模。在MPC-BERT的输出中，对话者通过其所说语句的编码表示进行描述。因此，在这三个任务中，语句语义的表达被用来构建对话结构。另一方面，后两个任务旨在以结构到语义（structure-to-semantics ）的方式对语句语义进行建模。直观地说，对话结构影响MPC中的信息流。因此，结构信息也可以用来加强话语语义的表达。通常，这五个自监督任务被用于在多任务学习框架中联合训练MPC-BERT，这有助于模型学习对话者和语句之间以及结构和语义之间的互补信息。通过这种方法，MPC-BERT可以产生更好的对话者和语句表征，可以有效地推广到MPC的多个下游任务。

联合学习和多任务学习

为了衡量这些自监督任务的有效性并测试MPC-BERT的泛化能力，我们在三个下游任务上对其进行了评估，包括接收人识别、说话人识别和回复选择，这是MPC的三个核心研究问题。采用两个基于Ubuntu IRC通道的基准进行评估。其中一份由Hu等人（2019年）发布。另一个由Ouchi和Tsuboi（2016）发布，根据对话长度有三个实验设置。实验结果表明，在这两个基准的测试集上，就接收人识别的对话准确率（ accuracy）而言MPC-BERT的性能比目前最先进的模型分别高出3.51%, 2.86%, 3.28%和5.36%，就说话人识别的语句精确率（ precision）而言分别高出7.66%, 2.60%, 3.38%和4.24%，就回复选择的回复召回率（recall）而言分别高出3.82%, 2.71%, 2.55%和3.22%。

准确率、精确率、召回率

综上所述，我们在本文中的贡献有三个方面：（1）提出了一种用于MPC理解的PLM：MPC-BERT，设计了五个基于对话和对话者之间交互的自监督任务。（2） 采用三个下游任务来综合评价我们设计的自监督任务的有效性和MPC-BERT的泛化能力。（3） 我们提出的MPC-BERT在两个基准上实现了三个下游任务的当前最优性能。

2 相关工作

现有的建立对话系统的方法大致可分为研究双方对话和多方对话（MPC）。本文研究MPC。除了预测对话语句，识别说话人和识别接收人也是MPC的重要任务。Ouchi和Tsuboi（2016）首先提出了接收人和回复选择任务，并创建了一个MPC语料库用于这项任务的研究。Zhang等人（2018a）提出了SI-RNN，它对说话人嵌入（speaker embeddings）进行角色敏感的更新，用于接收人和回复选择。Meng等人（2018）提出了一项说话人分类任务，作为说话人建模的替代任务。Le等人（2019年）提出了一个who-to-whom（W2