论文泛读笔记《Learning to Extract Coherent Summary via Deep Reinforcement Learning》

转载请注明本文出处

0 摘要

普通的神经网络模型做抽取式摘要通常有个问题，就是句子连贯性不好。此文提出了一个神经连贯性模型，评估摘要的连贯性，经验证通过在自动摘要流程使用这个中间模型可以提高句子间的连贯性与可读性。此文作者又应用强化学习算法，将神经连贯模型的输出和ROUGE作为奖励，进行训练神经网络抽取式摘要模型(NES)， 得到一个新的模型RNES(Reinforced Neural Extractive Summarization)，经验证在CNN/Daily Mail数据集上达到state-of-the-art(就ROUGE指标而言)，质量评估也验证了此模型生成的摘要更具有可读性与连贯性。

1 介绍

现在DNN被广泛用于自动文摘领域。生成式模型做文摘目前只适用于标题生成，对从文档中生成几个句子的摘要有些力不从心。抽取式摘要模型目前更适用于自动文摘领域，因为至少这样生成的文摘不会有语义和句法上的错误。
作者关注点: 目前的神经网络抽取式摘要模型存在句子间的连贯性问题，造成了文摘的可读性不强。
造成的原因: 将连贯性融入监督学习模型的目标函数很困难，因为连贯性取决于最终生成的文摘。
作者的解决办法: 使用强化学习算法。强化学习算法旨在通过与"环境"交互，最大化"奖励"来学习一个代理。经常用在对应于模型参数的目标函数不可微分的情况下。
以前的连贯性建模的工作: 主要关注在话题连贯性领域(topical coherence)，其中最受欢迎的要受基于实体网格的连贯性模型(entity grid model) (Barzilay and Lapata 2008)。
以前工作的缺点:1，依赖于命名实体识别(NER)，而NER有可能成为这一整个系统的瓶颈。2，实体网格分别对不同实体间的转换建模，因此无法捕获实体之间的语义相关性。
作者工作的优点:采用神经网络连贯性模型，用端到端的方式，句子使用分布式表示，来学习评估句子间的相关性。
本文贡献:1，提出了一个神经网络连贯性模型(neural coherence model)，用多个卷积层与最大池(max pooling)来捕捉句子间的实体关系转换与语句关系。实验证明此模型可以有效地识别合适的下一句，以构成一个连贯的句子对。2，设计了一个增强神经抽取式摘要模型(RNES, Reinforced Neural Extractive Summarization)。把神经网络连贯性模型的输出作为RNES的即时奖励，来让RNES学习抽取连贯的摘要。ROUGE分数被用作RNES的最终奖励，这样RNES就能平衡句子连贯性与信息重要程度，生成既连贯又保留重要信息的摘要了。此模型在CNN/Daily Mail上就ROUGE分数而言达到了state-of-the-art，而且生成的文摘更连贯。

2 相关工作

据作者所知，截至2018, 没有任何工作是将这种强化学习算法(将连贯性作为奖励的一部分)应用于神经网络抽取式摘要，作者的工作是填补这一空白的第一步。

3 神经网络抽取式摘要模型(NES)

首先需要理解抽取式摘要的工作内容，这里推荐我的前两篇文章，这一部分大家都是大体相似的。
NES本质上是一个分层的深度神经网络:
第一级为词语级(word-level)，用CNN来提取特征。
第二级为句子级(sentence-level)，用双向GRU网络来实现。
其中第二级的句子特征是把第一级的多个词的feature map求平均得到(感觉比较简单粗暴)
最后每一句话的判断都可以抽象为一个条件概率的计算

4 增强神经网络抽取式摘要模型(RNES)

使用的agent: 上面的NES
即时奖励: 神经网络连贯模型(它可以评估两个句子间的连贯读，-1 - 1之间的一个值)，也就是说NES每提取出一句摘要，这个都要进行打分
最终奖励: ROUGE，作者使用了组合的度量，因为作者发现有可能出现只用某一种ROUGE度量进行训练，最后在其它ROUGE度量上效果反而不好的情况。组合度量:

至于ROUGE和即时奖励占比怎样，作者用下面的公式，里面的系数$\lambda$就可以用来调节这个重要占比关系:

5 泛读后的个人结论及启发

作者为解决连贯性问题，将神经网络连贯性模型作为强化学习中的即时奖励，这是一个最亮眼的idea。其它的创新包括用CNN提取词语特征作为网络第一级，再将第一级的特征转化为句子特征后传入双向GRU的第二级，这应该是一种深度学习搭积木式的尝试，作者的"搭积木"的经验应该很丰富。我个人感觉是只要有新的idea，谈不上idea的好坏，而是看自己能把它做到哪一步。