上个礼拜做了实验室的小组论文分享,选择了这篇生成摘要领域高引的一篇经典论文给大家分享。所以重新梳理了一下论文的主要内容,方便日后回顾。没有把论文的全部内容翻译出来,只是按照自己对论文的理解做了一个概述性的总结。
b站有一个论文原作者的论文分享视频,感兴趣的可以去看一下Pointer-Generator Networks.
附上论文链接:Get To The Point: Summarization with Pointer-Generator Networks
目录
2.1 Sequence-to-sequence attentional model
1. Introduction
生成式摘要领域目前面临的两个问题:1)生成的内容会出现与细节事实不符合的内容,错误还原细节信息,离线词(OOV:Out-Of-Vocabulary)也是属于这个问题中的一种;2)重复生成相同的内容(这是RNN网络的遗留或者说常见问题)。本文的相关研究工作就是在此背景基础之上展开的。
引言部分还介绍了目前摘要的通用的方法:提取式摘要(extractive)和生成式摘要(abstractive),目前来说(截止2017年)生成式摘要模型多是基于注意力机制的seq2seq结构,并且多采用了循环神经网络来实现。
2. Our models
紧接着第二部分作者对本文提出来的一系列模型展开了详细的介绍。下面按照文章顺序依次分析。
2.1 Sequence-to-sequence attentional model
模型的第一部分内容我更愿意把它称作baseline模型,作者首先提出了一个baseline模型,这个模型结构图先放出来(图片来源于论文原文)
图1 Baseline模型
对文本摘要或者说文本生成有一定了解就知道这个基线模型是一个典型的seq2seq的结构,输如序列是原始数据集里面的文章序列,输出是模型生成的摘要结果序列。先不看上