论文笔记《End to end memory networks》

论文地址
论文代码

---

这篇论文在简介中说是基于Memory Network而来的。

---

论文第一部分介绍说这相当于一个连续型的Memory Network(问号脸，后续看)。这个模型的一个特点是end-to-end,可以被训练为从输入一直到输出，比其他的模型更加的方便。不像Memory Network在每一层都需要监督信息。

---

模型具体操作流程如下图:

在模型训练时输入数据有三部分:一个连续的输入x1,x2,x3…（这部分相当于doc的内容）,query q,还有answer a。
先是获取{xi}与query的一个表示(attention),然后这个表示经过多层的hops(多层神经网络)，最后得到输出answer a。最后再用pred与a的差值通过方向传播来不断训练模型。

---

网络分为单层结构和多层结构:

单层网络：

第一步:下图主要介绍了最初对doc({xi})和query的处理步骤，首先还是讲doc和query embedding，然后将他们进行内积运算，再经过softmax层，得到attention表示(这个attention具体含