《Get To The Point: Summarization with Pointer-Generator Networks》阅读笔记

1 Why

Seq2Seq结构的神经网络克服了以往的生成摘要的单纯摘抄方法的缺点。但是其本身也存在三个缺点：1 生成不真实的细节，2 重复语句，3 无法处理OOV问题。

2 What

所以本文从两个独立的角度提出了解决方法。

2.1 hybrid pointer-generator network

通过pointing的方式从encoder的输入序列中复制词以帮助词语的正确生成，同时通过generator保持生成新词的能力。

2.2 coverage

通过coverage记录已经生成的summary，防止重复。

3 How

本文介绍模型的顺序是baseline的seq2seq+attention模型—>baseline+pointer---->baseline+pointer+coverage

3.1 baseline sequence-to-sequence model

基本的Seq2Seq模型，encoder是双向的LSTM，decoder是单向的encoder，attention机制使用 Bahdanau的方法，损失函数是负的对数似然函数。

3.2 pointer-generator model

在baseline模型基础上，拼接pointer network (Vinyals et al.,
2015)。使得模型能够通过pointing从encoder的输入序列中复制词语加入到decoder输出的固定词表中生成新的更大的词表。拼接的模块包括pointer的构造和两个分布的合并。

• pointer 的构造：
  $Pgen\in [0,1]$ 是每个时间步的生成概率： 由注意力context vector、decoder的隐藏转态和输入x构成：
  
  式子中的w和b都是要学习的参数向量，σ是sigmoid函数。其与注意力机制的计算不同的是多了wx这一项且参数都是向量，$Pgen$是一个介于0和1之间的标量。

• 两个分布合并：
  $Pgen$的作用相当于一个控制开关，其决定decoder最终的输出词表大小，即最终的词表大小由词典$Pvocab$采样，加上从attention分布中采样，并可避免OOV问题。
  
  上式加号左边是从词典中采样，右边是从attention中采样。
  如果输入的某个词w是OOV的话，$Pvocab(w)$就会等于0，如果w没有在source文件中出现过，那么$∑i:wi =w ati $项也会为0，其表示decoder的第 t 步的attention的第 i 维表示词w的值。具体作用如下图：
  
  像上图的Final Distribution中，“2-0”在训练数据中没有出现过，所以decoder输出的分布中，没有其概率，通过pointer将预测数据中出现的“2-0”的atttion分数作为概率加入到decoder的输出分布中，扩展了原来词典的分布，形成最后的分布。而Argentina同理，只是Argentina在训练数据中出现过，所以是两个概率的叠加形成最后的概率。当然，叠加的过程需要受到Pgen的控制。

3.3 coverage mechanism

生成的语句中出现重复的语段是seq2seq模型常见的问题，所以本文采用了coverage model（Tu et al. (2016)）来解决这个问题。

本文将decoder的每个时间步及之前的attention向量累加起来得到所谓的coverage向量，衡量了词语已经被attention机制覆盖的程度。再将其添加到注意力生成的公式中。

wc是和v一样大小的向量，添加C的作用是使得模型在生成注意力向量时通过C能得知那些位置之前已经关注过，避免了重复关注同一位置，生成重复的文本。

所以为了惩罚模型重复关注相同位置，本文还定义了新的coverage loss函数，其小于等于1。

将coverage loss加到原来的损失函数中得到最后的组合损失函数：

4 Result

recently-introduced CNN/
Daily Mail dataset (Hermann et al., 2015; Nallap-
ati et al., 2016), which contains news articles (39
sentences on average) paired

上面的是abstractive的方法，下面的是extractive的方法，可以看到pointer-generator+coverage的方法要好于baseline和abstractive model，但是并没有比传统的extractive方法好，本文的解释是1 新闻类的文章会把重要的信息放在开头，所以像lead-3 baseline等提取前几句话作为摘要的方法效果会比较好，2 参考摘要的主观性。

5 Idea

• 利用 pointer 直接从encoder的输入序列抽取单词，扩展了decoder输出词表。或许可以先抽取出关键词，然后再围绕关键词生产摘要。

6 Relatives

待续。。