论文笔记 EMNLP 2019|Text Summarization with Pretrained Encoders

1 简介

论文题目：Text Summarization with Pretrained Encoders
论文来源：EMNLP 2019
论文链接：https://arxiv.org/abs/1908.08345
代码链接：https://github.com/nlpyang/PreSumm

1.1 创新

• 使用BERT完成文档级的抽取式和生成式摘要任务。

2 方法

提出用于摘要的BERT结构(BERTSUM)如上图，每个句子使用[CLS]隔开，用于表示该句子的信息，同时根据句子的奇偶数进行segment embedding。

2.1 抽取式摘要

输入文档为[sent_1,sent_2,…,sent_m],判断每个句子是否属于摘要。首先使用上述的BERTSUM结构获得每个句子的[CLS]编码为T，然后通过多层的Transformers，获取文档级别的特征，最后进行二分类，公式如下(其中$h^0=PosEmb(T)$,PosEmb为sinusoid位置编码)：

2.2 生成式摘要

生产式摘要为encoder-decoder结构，其中编码器为预训练的BERTSUM，解码器为随机初始化的6层Transfomer。为解决编码器和解码器的不一致，对着两部分分别优化。除此之外，首先在抽取式摘要任务上微调编码器，然后在生产式任务上微调编码器。

3 实验

实验使用3个数据集，the CNN/DailyMail news highlights dataset , the New York Times Annotated Corpus和XSum，统计数据如下：

对于抽取式摘要，使用得分最高的三个句子作为摘要，在选择句子时使用Trigram Blocking策略(避免候选句子和摘要有重复的三元组)。
三个数据集的实验效果如下：



不同学习率对实验结果的影响如下：

抽取的句子在原文档中的位置如下：

对于生成式摘要，新产生的N-grams的数量如下：

人工评测的结果如下：