【论文阅读】Get To The Point: Summarization with Pointer-Generator Networks

1.论文链接

Get To The Point: Summarization with Pointer-Generator Networks

2.论文主要为了解决什么问题

1. 作者想要提高信息摘要提取的效率，具体来说，既要有extract，又要有generate。
2. 作者想要改进传统的seq2seq with attention（对应generate）和Pointer networks(对应extract)在生成文本的时候，会有重复输出的问题。

具体的重复输出可见下图

3.模型流程

3.1 seq2seq

首先用seq2seq进行生成新词，然后保存概率

接下来经过处理得到了在整个词汇表中的概率

3.2 Pointer-generator network

1. 注意，这个就是作者的主要模型了
   首先作者定义了当前生成的词为新的词的概率是多少
   
2. 然后和简单的找到原词的概率相结合（也是简单的attention）
   

3.3 惩罚项：Coverage mechanism

4.论文创新点

1. 将seq2seq和pointer neural network结合，既能生成新的词又能提取原来有用的词
2. 增加了惩罚项，减少了出现重复词的可能性