【论文阅读】Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization

选择这篇文章的原因：

不仅仅利用原始文本来进行训练、预测，引入外部知识（模板机制），因为相似文本的摘要格式也应该时基本相似的，特别是针对特定领域内的自动摘要生成，领域内容相似，摘要相似，具有很大的可借鉴性。引入模板机制，可以在小样本情况下取得相对比较好的结果。

Abstract部分：

目前大多说的基于seq2seq生成摘要的模型存在不稳定性的问题。受传统的基于模板的的方法的启发，作者提出了使用存在的摘要作为软模板来指导seq2seq模型来生成摘要。首先使用信息检索平台（Lucene）从语料中检索合适的摘要作为候选模板，然后扩展标准的seq2seq模型，使其具有模板排序和基于模板生成摘要的功能。实验表明，在信息量方面，作者提出的模型取得了目前最好的结果，甚至软模板本身也具有很好的竞争性。并且，引入高质量的外部模板提高了生成摘要的稳定性和可读性。

 

Introduction部分：

大多数以前的seq2seq模型只依赖原文本来生成摘要。但是，很多研究都表明，当生成的文本长度增加时，seq2seq模型的性能急剧降低。作者的实验也表明seq2seq模型有时候会失控。例如：3%的摘要少于三个单词，4个摘要甚至重复一个单词99次。导致生成摘要的信息量和可读性大大降低。并且，作者发现seq2seq模型经常倾向于从原文本中复制单词，没有任何实质的总结。因此，作者认为对于seq2seq模型，仅仅利用原文本来生成摘要是不够的。

一般来说，模板是一个不完整的句子，可以使用人工定义规则来填充文本。但是，构建模板非常耗时，并且需要大量的领域知识。并且，为所有的领域人工创建模板是不现实的。

受基于检索的对话系统的启发，作者认为相似句子的比较好的总结可以提供一个参考点，从而为输入句子生成摘要提供指导。基于seq2seq模型具有强大的重写功能，所以文章采用seq2seq+soft template的方式生成摘要。简称Re3Sum(Retrieve, Rerank, Rewirte, Summarization)。

首先（Retrieve），使用信息检索平台来找到sotf tempalte 的候选集；然后（Rerank），使用RNN对输入和soft template候选集进行encoder，并且使用其hidden state的相关性来筛选出最相关的候选模板。最后(Rewrite)，使用输入和soft template的hidden state 来生成摘要。

文章的主要贡献：

• 提出引入soft template作为附加输入来提高seq2seq摘要模型的可读性和稳定性
• 扩展了seq2seq框架，提供了模板筛选（template reranking）和基于模板的摘要生成功能。
• 融合了基于信息检索和基于seq2seq模型的摘要生成系统，充分利用了双方的优点。

 

Method部分：

如图1所示，模型主要包含三个模块，Retrieve, Rerank, Rewrite.在生成验证和测试时使用式（4）表示的得分（最大值）来筛选模板。在训练时，使用式（11）表示的得分来筛选模板，这样做的目的是在训练是加速收敛，并且在实验中没有什么副作用。

Retrieve模块：

该模块目的是从训练语料中筛选合适的候选模板。这样做的前提是：相似的句子有相似的摘要模式。因为语料比较大，超过3M，所以采用信息检索系统Lucene来有效地创建索引，完成检索。根据输入句子（x）和索引句子的相似性来进行排序召回,得到候选soft template(r)

Jointly Rerank and Rewrite:

结合了Rerank和Rewirte模块的seq2seq模型的结构，后续分开介绍。

Rerank模块：

考虑到基于hidden state的匹配网络具有较强的检测两段文本相关性的能力,首先使用 Bidirectional Recurrent Neural Network(BiRNN)来对输入（x 表示）和soft template（r 表示）进行编码。这一部分比较通用，就不再赘述了。使用BiRNN的输出来表示输入或者模板句子，然后使用Bilinerar网络来计算输入和模板的相关性得分，筛选模板。Bilinear网络在相关性评估方面优于多层前向神经网络。

Rewrite模块：

因为模板总是包含比较多的在原文本没有出现的命名实体，所以很难保证soft template能够很好的表示输入句子，所以采用seq2seq模型重新生成更准确可靠，更丰富的摘要。将输入和模板的hidden state连接起来作为生成摘要的decoder的输入。

Learning：

对于摘要生成模型，我们希望soft template 和实际摘要y*尽可能相似。使用ROUGE得分来衡量soft template 和y*的相似度。

我们希望式（4）和式（11）的结果尽可能相似，所以使用二者的交叉熵来作为损失函数的一部分。并且使用常用的负对数似然来作为Rewrite部分的损失函数。

Experiments:

从Informativemess, Linguistic Quality, Effect of Tempalte三个方面对模型进行了比较评价。

Conclusion:

本文提出的模型可以生成信息丰富、可读性强和稳定的摘要。并且，本文提出的模型在生成多样性摘要方面也有很好的前景