[ACL2018]Retrieve, Rerank and Rewrite:Soft Template Based Neural Summarization

最新推荐文章于 2024-06-17 16:58:33 发布

小妖精Fsky

最新推荐文章于 2024-06-17 16:58:33 发布

阅读量953

点赞数 1

分类专栏： PaperNotes 文章标签： summarization

本文链接：https://blog.csdn.net/appleml/article/details/89306681

版权

该文针对seq2seq模型在摘要生成中的不足，提出结合软模板的神经摘要方法。通过检索、重排和改写三个步骤，使用相似文本的摘要作为软模板指导摘要生成，解决了模型生成过短、性能下降、重复词汇和过度复制原文的问题。文章详细介绍了Retrieve、Rerank和Rewrite三个模块的工作原理，并联合学习优化模型。

摘要由CSDN通过智能技术生成

seq2seq模型目前还有很多缺点，本文所做实验表明：
（1）生成的文本过短，3%的摘要不超过3个词
（2）随着生成序列的增加，生成性能急剧恶化
（3）重复生成某个词
（4）侧重于复制原文
也就是说基于原文自由式生成的摘要的seq2seq模型目前效果还不甚满意，所以本文想要结合摘要模板做生成，又由于传统的基于模板的文本摘要也有如下缺陷：
（1）构建模板非常耗时
（2）需要有专业的领域知识
（3）开发各个领域的所有摘要模板不现实
受基于检索的对话系统的启发，作者认为相似文本的摘要作为软模板，用于指导当前文本生成摘要有指导，所以本文的做法是：seq2seq+soft template
本文的方法有三个模块，分别是Retrieve, Rerank以及Rewrite, 我们分别介绍
Retrieve: soft template
特别注意一点的是：论文中出现的 the input sentence x，就是指的源文本，也就是需要压缩进行摘要的内容，我在这儿摔了个大跟头，我以为源文本有很多句话，这是指其中的一个句子而已，导致我始终不明白Retrieve是怎么做的。
训练集有n个训练实例，具体表示是 X = { ( $x_1$ , $r_1$ ), ( $x_2$ , $r_2$ ), …, ( $x_i$ , $r_i$ ), …, ( $x_n$ ,