【论文笔记】Gated Self-Matching Networks for Reading Comprehension and Question Answering

概述

本文提出了门机制和自匹配注意力机制。

门机制：
原先的做法是将得到的问题注意力向量和文本编码直接送入到RNN中得到新的融入问题的文本表示。
但是考虑到文本中的每个词对于问题是有不同的重要程度的，引入了一个门机制，根据与问题的相关程度给文本每个词赋于不同的权重。然后把问题注意力向量和赋予权重后的文本表示送入RNN中得到新的融入问题的文本表示。

自匹配注意力机制：self-attention和gate机制的融合
对融入问题的新文本表示进行self-attention，加强文本内部之间的联系，并同理运用门机制，最终得到文本表示hp

论文的链接
Gated Self-Matching Networks for Reading Comprehension and Question Answering

模型

1.问题和文本的编码

对输入的文本和问题分别进行单词级别的embedding（ep和eq）和字符级别的embedding（cp和cq），然后再将两部分拼接，送入到双向G