A Deep Reinforced Model for Abstractive Summarization
Introduction
本周读的是Salesforce研究发表的关于自动文本摘要的论文,自动文本摘要主要分成抽取式和生成式,抽取式主要是从原文中找到和主题相关的句子或短语,然后组合成摘要,有点类似“复制粘贴”的模式;而生成式主要是在理解了原文的基础上,对原文进行抽象,然后用语义相近的词或者不同表述方法进行文本摘要,更符合人类的形式。但是长文本生成摘要过程中,经常出现不连贯不相关内容、重复语句等问题,基于这些问题,论文中使用了很多trick,包括融合了改进的attention机制和强化学习的训练方法,结果在CNN/Daily Mail、New York Times数据集上达到了新的state-of-the-art。
Model
论文的主要框架还是Seq2Seq,输入是原文文本,输出是文本摘要,encoder采用bi-LSTM,decoder采用单层LSTM。
A new Attention and Decoding Mechanism
文中使用了两套attention机制,Intra-temporal attention和Intra-decoder attention。前者是作用在encoder中上的,对input中每个词计算权重,这样能使生成的内容信息覆盖原文。后者是作用在decoder上的,对已经生成的词也计算权重,这样能够避免生成重复的内容。然后两者拼接起来进行decode生成下一个词。如下图所示:
在计算Intra-temporal attention权重的过程中,论文采用了一种方法对input中获得较高权重的词进行惩罚,以防后面decode过程中再次赋予该词高权重。计算公式如下,decoder的Intra-decoder attention权重计算则少了以下第二个公式。
eti=hdtTWeattnhei