A Deep Reinforced Model for Abstractive Summarization

A Deep Reinforced Model for Abstractive Summarization

Romain Paulus, Caiming Xiong, and Richard Socher. 2017.A Deep Reinforced Model for Abstractive Summarization

官方博客介绍

Introduction

本周读的是Salesforce研究发表的关于自动文本摘要的论文，自动文本摘要主要分成抽取式和生成式，抽取式主要是从原文中找到和主题相关的句子或短语，然后组合成摘要，有点类似“复制粘贴”的模式；而生成式主要是在理解了原文的基础上，对原文进行抽象，然后用语义相近的词或者不同表述方法进行文本摘要，更符合人类的形式。但是长文本生成摘要过程中，经常出现不连贯不相关内容、重复语句等问题，基于这些问题，论文中使用了很多trick，包括融合了改进的attention机制和强化学习的训练方法，结果在CNN/Daily Mail、New York Times数据集上达到了新的state-of-the-art。

Model

论文的主要框架还是Seq2Seq，输入是原文文本，输出是文本摘要，encoder采用bi-LSTM，decoder采用单层LSTM。

• A new Attention and Decoding Mechanism

  文中使用了两套attention机制，Intra-temporal attention和Intra-decoder attention。前者是作用在encoder中上的，对input中每个词计算权重，这样能使生成的内容信息覆盖原文。后者是作用在decoder上的，对已经生成的词也计算权重，这样能够避免生成重复的内容。然后两者拼接起来进行decode生成下一个词。如下图所示：

  

  在计算Intra-temporal attention权重的过程中，论文采用了一种方法对input中获得较高权重的词进行惩罚，以防后面decode过程中再次赋予该词高权重。计算公式如下，decoder的Intra-decoder attention权重计算则少了以下第二个公式。

  $e_{ti} = {h_t^d}^T W^e_{attn} h_i^e$

e′ti=⎧⎩⎨⎪⎪exp(eti)exp(eti)