论文笔记|Get To The Point: Summarization with Pointer-Generator Networks

该论文是ACL2017的一篇影响力较大的论文：论文地址

概述

抽取式文本摘要实现简单，所有内容都是从原文中抽取，但想要高质量的，足够抽象的摘要，则需要进行生成式文本摘要。
神经序列到序列模型是生成式文本摘要的一种可行的方法。然而，这些模型有两个缺点:重现事实细节不准确，重复生成。在本文工作中，作者提出了一个新的架构，以两种正交的方式增强标准的seq2seq的注意力模型。

首先，作者使用一个混合的pointer-generator网络。一边能从源文本复制单词，有助于准确地复制信息，同时可以通过生成器产生新单词。其次，作者使用覆盖机制来跟踪已经总结的内容防止重复生成。

模型

基线模型

上图为基线模型。原文章的token被逐个输入encoder(单层双向LSTM)，产生一个编码器隐藏状态序列$h_i$（相当于注意力机制中的key和value）。在每一时间步t上，decoder(单层单向LSTM)接收前一个单词的单词嵌入(训练时，这是参考摘要中的前一个单词;测试时，为decoder产生的前一个单词)，decoder状态为$s_t$（相当于query）。其中，注意力分布的计算方法为:

其中， v , W h , W s , b a t t n v, W_h, W_s, b_{attn} v,Wh​,Ws​,b