【文本生成】评价指标：事实一致性Evaluating the Factual Consistency of Abstractive Text Summarization

论文：2019年《Evaluating the Factual Consistency of Abstractive Text Summarization》
https://arxiv.org/pdf/1910.12840.pdf

motivation

经研究高达30%的摘要是和原文事实不符的，到目前为止也没有非常好的办法去解决摘要与原文的事实一致性。

introduction

与事实一致的问题与两个问题最为接近：一个是natural language inference（NLI），一个是fact checking。

当前的NLI数据集一般都是短的单句匹配，事实一致性却是要与全文去匹配。

fact checking是事实与知识匹配，而事实一致性是原文提供的信息和原文作匹配，并不保证信息是否一致。

methods

本文用了一种弱监督的方法构造训练集，通过构造的sentence-document pair，可以判断是否与事实一致。

训练集由采样原文句子获得。

• paraphrasing

  采用回译方法，用Google Cloud Translation API，默认语义不变。

• entity and number swapping

  用NER识别后，随机替换。比如人名就替换成识别到的其他人名。用的是SpaCy NER tagger，默认语义发生改变。

• pronoun swapping

  先找出与性别有关的代词，再去另一个性别找对应的词。默认语义发生改变。

• 否认

  直接加入否定词not或n’t。语义发生改变。

• 噪声

  随机插入或删除某些词，增加鲁棒性。

测试集和验证集由人工标注。句子来源于摘要模型，摘要的每一句都和原文构成document-sentence pair。

模型使用BERT，分成两个类别 CONSISTENT 和 INCONSISTENT，使用 CLS 向量去做分类，这个模型叫 FactCC。同时做了个类似NER的模型，叫 FactCCX，标注出哪里与事实不符。

Result

FactCCX：

结论

简单，可操作性很强，用中文的语料也可以做。