《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》

九月份第三周论文笔记

这周读的是《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》这篇文章，作者主要有两个创新点：提出了改进的注意力机制intra-attention；将强化学习的方法加入到了模型的训练过程中，提高抽取式摘要的可读性

模型还是基于经典的encoder-decoder架构：绿色向量C是将encoder每一步的隐层输出做注意力加权得到的；蓝色向量C则是decoder当前步之前所有的隐层输出加权得到的；H代表的是当前步的隐层输出；三者做向量的拼接操作得到对应的特征向量进行下一个词的预测。

---

Intra-attention介绍

       先介绍intra-attention：所谓intra-attention即我们之前介绍的self-attention，主要有两种方式分别为加法attention和乘法attention，其计算过程如下：本文中采用的乘法attention，并进行了改进。