[深度学习]Machine Comprehension机器阅读中Attention-based Model注意力机制论文集合

目录

 

机器阅读概念

论文集合

网络结构比较

---

机器阅读概念

所谓机器阅读理解任务，指的就是给一段context描述，然后对应的给一个query，然后机器通过阅读context后，给出对应query的答案。这里做了一个假设，就是query的答案必须是能够在context原文中找到的一段话（也可以理解为连续的几个单词），也就是说最终模型预测的目标是输出两个下标，分别对应于query回答在context的开始位置和结束位置。最后模型的损失函数为多分类的交叉熵softmax（因为从本质上来讲该问题等效为一个多分类问题，问题的类别数等于context中单词的数量，也就是每一个单词都有可能作为answer的开始）。
 

论文集合

论文名称：《End-To-End Memory Networks》

论文地址：https://arxiv.org/pdf/1503.08895.pdf

论文代码：https://github.com/fchollet/keras/blob/master/examples/ba bi_memnn.py

针对Memory Networks无法端到端训练的弊端，提出了End-To-End Memory Networks，可以端到端训练，减少训练监督。增加了注意力机制，并且使用了RNNsearch中的multiple computational steps (hops)。hops的作用是增强模型的推理能力。