论文笔记《Gated-Attention Readers for Text Comprehension》

来源1606.01549

这篇论文提出的模型叫做GA Reader,用的是GRU,GRU中的两个门及候选状态的推理公式如下：

---

GA Reader的实现思路为：
1，对于query首先也是用双向GRU处理，然后分别获取最后的状态concate一起。
2，对于doc也是用双向GRU处理，但是是输出每个时刻的Hidden，最后concate在一起。
3，然后用一个K层网络来处理，网络第一层是1，2步处理的query_emb和doc_emb对位相乘，也就是element-wise运算，假设得到的是temp_doc,然后这个temp_doc会输出到第二层，第二层完成的运算仍然是temp_doc和query_emb的对位相乘。如此循环下去。也就是说，K层会接收从K-1层来的temp_doc，然后仍然和query_doc进行element-wise运算。
4，其实与doc进行element-wise的并不是最初输出的query_doc，而是经过了一些处理的，如下面截图中3.1.2中红圈圈出来的部分，先用query_emb和d