[NLU] Improving Multi-turn Dialogue Modelling with Utterance ReWriter

总述：

     主要是有一个utterance rewriter的机制，将一句话里面的省略和共指关系给找出来，然后形成一句新的话语，这样显示的声明一句话的省略部分和共指词可以提高对话系统的效果。具体来说对于task-oriented对话系统，提高了intention Precision（每一句话的意图检测），对于chitchat，提高了CPS：coversation-turns-persession（平均对话轮数）。

贡献：

1.首先，作者和我都觉得最大的贡献应该是一个标注了共指和省略关系的数据集，20w条对话

2.结合了transformer和point-generator从dialogu history里面重写当前这句句子，消除指代和省略

3.毕竟是wechat团队，放在实时的chatbots里面，效果很好

实验：

我认为这篇论文实验做的很充分，所以单独拿出来枚举一下。

第一个实验：

对比了直接生成模型（GEN），直接copy模型（PTR_NET），pointer-genertor模型，以及他的PTR-Y模型。其中，每一种模型，分别用transformer和lstm做encoder来比较transformer，lstm的好坏。

pointer-genertor模型和他提出来模型的不同，主要在于，pointer-genertorcopy的来源只有input和一个固定的词表（整个vocab），但是PTR_y是从dialogue history 以及当前这一句话中copy，并且有一个哨兵y 决定是从historycopy'还是从当前这句话copy。

BLEU 和rouge就不解释了，可以看下：https://blog.csdn.net/lwgkzl/article/details/100014922

EM：exact match，就是和标准答案做精准比较，然后EM还分为positive sample和negative sample，这个positive 我觉得就是有共指关系和省略关系的句子，可以看到明显结果比较差，只有55.8.negative 就是没有共指关系和省略关系的，那么直接copy就好了，所以结果比较好，也就是说这个模型可以很好的区分有没有省略和共指关系，但是在如何copy省略和共指关系上还需要加油。

此外：显然T-ptr-y最好。

第二个实验：指代词汇

计算了一下rewrite之后生成的句子中包含了原句子指代词汇的precision 和recall。precision就是生成的这些词汇中，有多少个是真的指代词汇，recall就是需要生成的指代词汇中有多少个真的生成了。

第三个实验：省略词汇

同指代词汇，看precision 和recall，此外加了省略词之后，还做了一个human evaluation评价了句子的流畅度。

第四个实验：

将rewrite用于dialogue里面，看看对intention  precision 和CPS（平均对话轮数）有没有帮助。

模型：

模型的话，相当于魔改了point-generator，不过魔改的比较多就是了。如图所示：

左边部分：

左边是一个类transformer结构，不过他有两个分别的输入，一个是dialogue history（H），一个是当前用户的话语（Un）将这两个input输入到一个transformer的encoder中，可以得到两个两个输出Eh和En，如下公式

这两个就是encoder的输出部分了。接下来看看decoder怎么做

右边部分：

首先把已经生成出来的部分做一个self-attention，右边下半部分就是做的这个事情。得到一个M

然后接下来就是把M和encoder得到的E结合起来了。可以形成两个词的分布：

第一个：由M和E（h）做attention，不是self-attention，是long attention得到，表示从dialogue history中得到的信息

第二个：由M和E(n)得到，表示从用户的上一句中得到的信息

然后这两个词的分布该如何取权重呢，这就需要一个权重y。

其中：

可以看到这个y的权重是由M和Eh做multi-attention，M和En做multi-attention得到的。

一句话总结：

通过transformer来 抽取信息，得到dialogue history的词以及当前句子的词的分布，之后应用一个类似于pointer-generator的结构决定下一句该copy哪一个句子的词汇，去除用户句子中的省略和指代。

ps：

今年另一篇指代和省略的论文，用的attention和copynet： https://blog.csdn.net/lwgkzl/article/details/102482928

论文地址： https://arxiv.org/abs/1906.07004?context=cs.CL

代码：