论文《Text Understanding with the Attention Sum Reader Network》笔记

来源
1603.01547

这篇论文主要是提出了一个新模型Attention Sum Reader(AS Reader)，但这篇论文的局限是不能产生不包括在doc中的answer。

---

模型流程：
1. 使用双向GRU/LSTM计算query的embedding表示query_emb，使用正向尾词和反向首词拼接而成
2，使用双向GRU/LSTM计算doc的embedding表示doc_emb，使用的是doc中的每个词拼接而成的词向量。
3，将query_emb和doc_emb进行dot乘积，相当于获得在doc上的attention，在进行softmax，相当于进行归一化，注意乘积时的维度位置。
4，将出现在不同位置的相同值的attention相加

---

另一个论文比较有意义的点是单模型ensemble时的方式：
1，average ensemble by top 20%:更改初始化参数，训练多个模型，然后取在验证集上效果最好的前20%个模型做bagging.
2,average ensemble:取效果排名前70%的model做bagging
3，greedy ensemble:根据效果排序从效果最好的模型开始bagging，如果bagging后的模型在验证集上效果更好就加入，一直持续到最后。

---

论文代码

---

问题：
论文第四块提出的那几个模型对比还没能完全弄明白，对于Attentive 和Impatient Readers这两个模型着重弄明白。

参考地址：http://blog.csdn.net/LaineGates/article/details/79240232
参考地址：https://zhuanlan.zhihu.com/p/23462480?refer=c_51425207