选择这篇文章的原因:
不仅仅利用原始文本来进行训练、预测,引入外部知识(模板机制),因为相似文本的摘要格式也应该时基本相似的,特别是针对特定领域内的自动摘要生成,领域内容相似,摘要相似,具有很大的可借鉴性。引入模板机制,可以在小样本情况下取得相对比较好的结果。
Abstract部分:
目前大多说的基于seq2seq生成摘要的模型存在不稳定性的问题。受传统的基于模板的的方法的启发,作者提出了使用存在的摘要作为软模板来指导seq2seq模型来生成摘要。首先使用信息检索平台(Lucene)从语料中检索合适的摘要作为候选模板,然后扩展标准的seq2seq模型,使其具有模板排序和基于模板生成摘要的功能。实验表明,在信息量方面,作者提出的模型取得了目前最好的结果,甚至软模板本身也具有很好的竞争性。并且,引入高质量的外部模板提高了生成摘要的稳定性和可读性。
Introduction部分:
大多数以前的seq2seq模型只依赖原文本来生成摘要。但是,很多研究都表明,当生成的文本长度增加时,seq2seq模型的性能急剧降低。作者的实验也表明seq2seq模型有时候会失控。例如:3%的摘要少于三个单词,4个摘要甚至重复一个单词99次。导致生成摘要的信息量和可读性大大降低。并且,作者发现seq2seq模型经常倾向于从原文本中复制单词,没有任何实质的总结。因此,作者认为对于seq2seq模型,仅仅利用原文本来生成摘要是不够的。
一般来说,模板是一个不完整的句子,可以使用人工定义规则来填充文本。但是,构建模板非常耗时,并且需要大量的领域知识。并且,为所有的领域人工创建模板是不现实的。
受基于检索的对话系统的启发,作者认为相似句子的比较好的总结可以提供一个参考点,从而为输入句子生成摘要提供指导。基于seq2seq模型具有强大的重写功能,所以文章采用seq2seq+soft template的方式生成摘要。简称Re3Sum(Retrieve, Rerank, Rewirte, Summarization)。
首先(Retrieve),使用信息检索平台来找到sotf tempalte 的候选集;然后(Rerank),使用RNN对输入和soft template候选集进行encoder,并且使用其hidden state的相关性来筛选出最相关的候选模板。最后(Rewrite),使用输入和soft template的hidden state 来生成摘要。
文章的主要贡献:
- 提出引入soft template作为附加输入来提高seq2seq摘要模型的可读性和稳定性
- 扩展了seq2seq框架,提供了模板筛选(template reranking)和基于模板的摘要生成功能。
- 融合了基于信息检索和基于seq2seq模型的摘要生成系统,充分利用了双方的优点。
Method部分:
如图1所示,模型主要包含三个模块,Retrieve, Rerank, Rewrite.在生成验证和测试时使用式(4)表示的得分(最大值)来筛选模板。在训练时,使用式(11)表示的得分来筛选模板,这样做的目的是在训练是加速收敛,并且在实验中没有什么副作用。
Retrieve模块:
该模块目的是从训练语料中筛选合适的候选模板。这样做的前提是:相似的句子有相似的摘要模式。因为语料比较大,超过3M,所以采用信息检索系统Lucene来有效地创建索引,完成检索。根据输入句子(x)和索引句子的相似性来进行排序召回,得到候选soft template(r)
Jointly Rerank and Rewrite:
结合了Rerank和Rewirte模块的seq2seq模型的结构,后续分开介绍。
Rerank模块:
考虑到基于hidden state的匹配网络具有较强的检测两段文本相关性的能力,首先使用 Bidirectional Recurrent Neural Network(BiRNN)来对输入(x 表示)和soft template(r 表示)进行编码。这一部分比较通用,就不再赘述了。使用BiRNN的输出来表示输入或者模板句子,然后使用Bilinerar网络来计算输入和模板的相关性得分,筛选模板。Bilinear网络在相关性评估方面优于多层前向神经网络。
Rewrite模块:
因为模板总是包含比较多的在原文本没有出现的命名实体,所以很难保证soft template能够很好的表示输入句子,所以采用seq2seq模型重新生成更准确可靠,更丰富的摘要。将输入和模板的hidden state连接起来作为生成摘要的decoder的输入。
Learning:
对于摘要生成模型,我们希望soft template 和实际摘要y*尽可能相似。使用ROUGE得分来衡量soft template 和y*的相似度。
我们希望式(4)和式(11)的结果尽可能相似,所以使用二者的交叉熵来作为损失函数的一部分。并且使用常用的负对数似然来作为Rewrite部分的损失函数。
Experiments:
从Informativemess, Linguistic Quality, Effect of Tempalte三个方面对模型进行了比较评价。
Conclusion:
本文提出的模型可以生成信息丰富、可读性强和稳定的摘要。并且,本文提出的模型在生成多样性摘要方面也有很好的前景