该论文是ACL2017的一篇影响力较大的论文:论文地址
概述
抽取式文本摘要实现简单,所有内容都是从原文中抽取,但想要高质量的,足够抽象的摘要,则需要进行生成式文本摘要。
神经序列到序列模型是生成式文本摘要的一种可行的方法。然而,这些模型有两个缺点:重现事实细节不准确,重复生成。在本文工作中,作者提出了一个新的架构,以两种正交的方式增强标准的seq2seq的注意力模型。
首先,作者使用一个混合的pointer-generator网络。一边能从源文本复制单词,有助于准确地复制信息,同时可以通过生成器产生新单词。其次,作者使用覆盖机制来跟踪已经总结的内容防止重复生成。
模型
基线模型
上图为基线模型。原文章的token被逐个输入encoder(单层双向LSTM),产生一个编码器隐藏状态序列 h i h_i hi(相当于注意力机制中的key和value)。在每一时间步t上,decoder(单层单向LSTM)接收前一个单词的单词嵌入(训练时,这是参考摘要中的前一个单词;测试时,为decoder产生的前一个单词),decoder状态为 s t s_t st(相当于query)。其中,注意力分布的计算方法为:
其中, v , W h , W s , b a t t n v, W_h, W_s, b_{attn} v,Wh,Ws,b