MEMORY NETWORKS【论文笔记】

一、摘要

  我们描述了一类称为内存网络（Memory Networks）的新型学习模型。内存网络解释了与长期内存组件相结合的推理组件。他们学习如何共同使用这些。可以读取和写入长期记忆，目的是将其用于预测。我们在问答（QA）的背景下研究这些模型，其中长期记忆充当（动态）知识库，并且输出是文本回复。在大规模QA任务上进行评估，然后，通过链接多个支撑句子来回答需要理解动词内涵的问题，以此展示这些模型的推理能力。

二、介绍

  大多数机器学习模型缺乏一种简单的方法来读取和写入部分（可能是非常大的）长期内存组件，并将其与推理无缝地结合在一起。举个例子，在知道一组事实或故事的前提下，然后回答有关该主题的问题。原则上来说可以用RNN来解决，但是RNN的记忆比较差，无法准确地记住过去的事实。
  因此，作者提出一个新模型——记忆网络，来解决这个问题。中心思想是将用于推理的机器学习文献中开发的成功学习策略与可以读取和写入的存储器组件相结合。然后训练该模型以学习如何有效地操作存储器组件。

三、记忆网络

  一个记忆网络由一个内存 $m$ 和4个组件 $I,G,O和R$组成：

• I：(Input feature map)——将输入转成内部的特征表示。
• G：(generalization)——给定新输入更新旧内存。我们将这种称为概括，因为网络有机会在此阶段压缩和概括其存储器以用于某些预期的未来用途。
• O：(output feature map)——给定新输入和当前的内存状态，产生新输出。
• R：(response)——将输出转换为需要的回复格式。

  给定一个输入 $x$，比如输入字符、单词或句子，模型的流程如下：

• 将 $x$ 转换成内部的特征表示 $I(x)$；
• 给定新输入更新内存 $m_i$：$m_i=G(m_i,I(x),m),\forall i$
• 给定新输入和内存计算输出特征 $o$：$o=O(I(x),m)$
• 解码输出特征 $o$得到最终回复：$r=R(o)$

四、MemNN

  这里简单的介绍一下文本输入输出的MenNN。

• 4.1 基本模型
   在基本架构中，$I$ 模块接受输入文本，假定是一个句子。这个文本以原来的形式储存在下一个有用的内存槽中，$S(x)$ 返回下一个空的内存槽 $N$：$m_N=x,N=N+1$。G模块只用于存储新记忆，所以旧记忆不会被更新。
   推理的核心在于O和R模块。O模块通过给定 $x$ 找到 $k$ 个支撑的记忆，以此产生输出特征，$k\le 2$，当然可以推广到更大的 $k$。对 $k=1$ 最高分数的支撑记忆如下得出：
  $$o_1=O_1(x,m)=argmax{s}_O(x,m_i)$$
   其中 $s_O$是一个函数，计算 $x和m_i$的匹配分数。对于 $k=2$，我们找到第二个支撑记忆：
  $$o_2=O_2(x,m)=argmax{s}_O([x,m_{o_1}],m_i)$$
   最终 $o$ 模块的输出是 $[x,m_{o_1},m_{o_2}]$，最后输入到R模块中。R模块需要生成一个回复 $R$，最简单的回复是返回一个 $m_{o_k}$，输出我们先前检索到的句子。为了生成句子，可以使用RNN模型。在我们的实验中，我们还考虑了一种易于评估的折衷方法，我们将文本响应限制为一个单词（在模型中看到的所有单词中），方法是对它们进行排序：
  $$r=argma{x}_{w\in W}{s}_R([x,m_{o_1},m_{o_2}],w)$$
   其中W是词典中的所有词，$s_R$ 是一个评分匹配函数。还有很多MemNN的应用，这里不再介绍。

五、总结

   本篇论文主要是提出了一个新的模型——内存网络，可以解决RNN记忆小的问题，但由于训练集缺乏支撑事实，无法端到端训练。