考虑说话人信息的对话摘要

在对话中往往存在多个说话人，说话人之间存在复杂的交互关系，普通的预训练模型难以捕获这种关系，特别容易造成事实一致性的错误，本文主要介绍一些从说话人角度考虑的对话摘要。

Capturing Speaker Incorrectness: Speaker-Focused Post-Correction for Abstractive Dialogue Summarization

论文链接

motivation

作者对bart-base的结果做了个分析，发现有一多半的摘要是不正确的，包括错误的推理，产生不正确的内容，错误的性别指代等等。其中又有一大半的错误是说话人相关的，如下图所示，第一段对话的两个说话人应该反过来，而第二段对话里中的Ann应该被去掉。针对这个问题，作者设计了一个后改正的策略，所谓后改正，就是说，给定一个摘要（可能是其他模型生成的）作为一个草稿，然后再训练模型对草稿进行修改，得到一个高质量的摘要。

method

这里作者首先训练一个判别器，预测需要对草稿摘要做哪种类型的修改，比如说是增加说话人，还是删除说话人，还是对说话人进行替换。然后训练一个生成器，根据预测出的修改类型，对话，原始的草稿摘要，得到最终的摘要。
要训练判别器的话，需要标注出要修改的类型，这里采用了自监督的方式，对参考摘要进行修改：
如下图所示，这里有三种修改方法，第一种speaker insertion，如图，随机选一个说话人Mike用and和Mary连在一起，第二种speaker deletion，选择用and或者冒号连接的两个说话人， 随机删除一个，第三种speaker replace，随机替换一个说话人。通过这种方式得到若干新摘要，称为corrupted summary,训练时corrupted summary和reference summary都会送入模型，防止过度修改。然后给所有的summary标注修改类型，比如说对于speaker insertion得到的摘要，需要删除说话人进行修改，修改类型标签为DEL,speaker deletion得到的摘要，需要插入说话人修改，修改类型标签为INS，speaker replace得到的摘要，需要替换说话人修改，类型为REP，参考摘要不需要修改，标签为NO

有了修改类型标签，就可以训练模型了，这里采用BART模型，生成器和判别器共享模型。
判别器其实就用到了BART模型的编码器部分，给定一段对话，和一个初步的摘要草稿，预测出修改类型的标签
输入如下：

经过编码器编码，在经过一个线性层，预测标签类型，公式如下，通过负对数似然函数损失训练

生成器根据预测出的修改标签类型，对话，以及摘要草稿，生成最终的摘要，输入如下，也通过负对数似然函数训练
这里还有一个附加任务，speaker generator,
让模型根据草稿摘要和对话，生成在参考摘要里出现的说话人的列表，也通过负对数似然损失训练，只在训练时用，让生成结果更准确。