论文笔记《A Thorough Examination of CNN/Daliy Mail Reading Comprehension Task》

论文地址：1606.02858

---

首先论文的先提出了两个模型，第一个是传统的特征模型，另一个是end-to-end的神经网络模型
第一个特征模型主要是用来探索到底哪些特征对这个任务是有作用的，这个模型最终选出答案的方法如下图红圈中圈出来的。也就是对于每个entity e都产生一个fp,q(e)向量，然后用这些来计算权重，最终排序选出权重值最大的。

模型所选用的特征如下：
这8个特征分别是：
1，entity e 是否出现在doc中
2，entity e是否出现在query中
3，entity e在doc中出现的频率
4，entity e在doc中第一次出现的位置
5，n-gram匹配：query中的placeholder的周围文本是否与doc中entity e周围的文本存在匹配
6，词距
7，entity e和同在query中出现的entity或者其他动词，是否在doc中的其他句子中出现了
8，依赖分析匹配：这个特征具体怎么实现其实没太看懂

---

第二个end-to-end neural network
这个模型也是基于AttentiveReader 的模型实现的。结构如下：

具体步骤如下图，这里不再赘述

其中这个论文与Attentive Reader模型结构不同的地方是：
1，计算doc与query之间的attention时，不采用tanh，而是采用bilinear。
2，获取contenxt embedding后，直接去做预测，而不是和query一起再做一次非线性变换。这部分由于一直没能找到合适的attentive Reader模型实现的代码，所以理解的不是很好。
3，原始模型的词汇表中考虑文章中所有的单词，这里只考虑entity，其他的为unk。

---

对于哪些特征作用比较大的分析，如下

所以最终分析的结论是n-gram match和entity出现的频率这两个特征最重要。

代码：github地址

参考地址：https://zhuanlan.zhihu.com/p/21349199
参考地址：http://blog.csdn.net/u014300008/article/details/52804261