Reinforced Mnemonic Reader for Machine Reading Comprehension （IJCAI2018）阅读笔记

Reinforced Mnemonic Reader for Machine Reading Comprehension （IJCAI2018） 阅读笔记

 

动机：	当前层的注意力计算并未参考之前层的注意力信息，这导致了两个截然不同但高度相关的问题： 1）多层注意力分布集中在相同的文本上，导致了注意力冗余； 2）多层注意力未能集中在文本的重要部分，造成注意力缺乏。 最近的工作使用强化学习来计算预测答案与真实答案之间的重叠程度。具体而言，该方法通常会利用一个估计的基线来规范化回报以减少方差。但是，当基线比回报更好时，这时规范化后回报为负，会出现抑制模型收敛的情况。如果此时预测答案与真实答案部分重叠，那么这种抑制会阻碍模型对真值跨度的预测。
贡献：	作者提出一个基于多层注意力架构的重关注(Reattention)机制，该机制能够暂存之前层的注意力，并在当前层中使用它们来微调注意力分布的计算。该机制背后的主要直觉是： 如果两个单词在同一文本段上的注意力分布高度重叠，则它们应该共享相似的语义，反之亦然。因此，如果两个单词的历史注意力分布集中在相同区域，那么这两个词的相似度也应该越大；而如果它们的历史注意力分布重叠程度越小，那么这两个词的相似度应该越低。
模型：	Encoder (1). 词嵌入：100维GloVe向量; 1024维ELMO 向量; (2).字符级嵌入：用BiLSTM对字符序列进行编码，并拼接两个方向上的最后一位隐藏层状态得到字符级嵌入; (3).特征嵌入：对问题和段落使用精确匹配的二值特征、词性标注特征和实体命名特征; 将词嵌入，字符级嵌入和特征嵌入拼接起来得到，问题的嵌入表示和段落的嵌入表示. Iterative Aligner (1). 建模词的上下文信息，得到问题的contextual representation Answer Pointer