KBQA知识图谱问答（二） 记忆网络Memory Network

前言

最近刚好在看BAMnet这篇做KBQA的实验，顺带把记忆网络的几篇经典文章看了一下做一下总结。另外就是 Facebook 7月份刚上传的一篇用 memory 来改进 BERT 结构的文章 Large Memory Layers with Product Keys 在精度不降的前提下提高了 BERT 的效率，看来脸书是真的喜欢 Memory这个概念的运用拓展。

MemNN

MEMORY NETWORKS ICLR2015

记忆网络的提出主要是解决 RNN 的隐层无法保存长期记忆、能传达的记忆内容太少的问题。这里就引入了一种外部记忆模块就和 RAM 一样能保存大量历史信息，与一些读写模块一起组成了 Memory Network，如下图：

由图中可以看出一共有四个模块：

• I: input feature map
  把输入映射为向量
• G: generalization
  使用新的输入数据更新记忆内容
• O: output
  给定新的输入和现有的记忆状态，在特征空间里产生输出
• R: response
  将输出转化为指定输出形式（自然语言）

具体来说，I模块是 embedding lookup，将原始文本转化为词向量，G模块将输入的向量存储在memory数组的下一个位置，不做其他操作，对老的记忆不做修改。O模块根据输入的问题向量在所有的记忆中选择出 topk 相关的记忆，具体选择方式为，先选记忆中最相关的memory：
$$o_1=O_1(x,\mathbf{m})=\underset{i=1,\dots ,N}{\mathrm{argmax}}{s}_O\left(x,{\mathbf{m}}_i\right)$$
其中目标函数是用 Bilinear Regression 来建模问题 $q$ 和记忆 $m$ 的相关程度：
$$s(x,y)={\Phi }_x(x{)}^{\top }{U}^{\top }U{\Phi }_y(y)$$
接下来根据选择出的 $o_1$ 和输入 $x$ 一起选择与他们两个最相关的记忆 $o_2$：
$$o_2=O_2(x,\mathbf{m})=\underset{i=1,\dots ,N}{\mathrm{argmax}}{s}_O\left(\left[x,{\mathbf{m}}_{o_1}\right],{\mathbf{m}}_i\right)$$
然后一直迭代下去，就这样选择出于Question最相关的 topk 个 memory slot 。将其作为R模块的输入，用于生成最终的答案。其实这里也很简单就是使用与上面相同的评分函数计算所有候选词与R输入的相关性，得分最高的词语就作为正确答案输出即可：
$$r={\mathrm{argmax}}_{w\in W}{s}_R\left(\left[x,{\mathbf{m}}_{o_1},{\mathbf{m}}_{o_2}\right],w\right)$$
如果数据集是输出一句话的，那么最后可以用RNNLM来生成带有回复信息的句子。
最后它定义的损失函数（margin ranking loss）如下，设 $k=2$ ：
$$\begin{array}{c}{\sum }_{\overline{f}\ne {\mathbf{m}}_{o_1}}\max \left(0,\gamma -s_O\left(x,{\mathbf{m}}_{o_1}\right)+s_O(x,\overline{f})\right)+\\ {\sum }_{{\overline{f}}^{\prime }\ne {\mathbf{m}}_{o_2}}\max (0,\gamma -s_O([x,{\mathbf{m}}_{o_1}\end{array}$$