论文|记忆网络之Memory Networks

欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。

原始blog链接：  http://www.pkudodo.com/2019/06/14/1-13/ 

 

 

Memory NetWorks介绍

在文本的处理上，由于很多地方对记忆的需要，因此诞生了RNN及LSTM。但RNN和LSTM也只能用于短时间内的记忆（一般来说也就十几个step）。所以如果文本较长的话，RNN和LSTM也无能为力了。

当然也有一种方法，就是直接扩大RNN和LSTM的隐状态大小，让其可以存储更多的信息。但相对于这种方式，我们更希望能够任意地增加记忆量，同时能够对模型做尽可能小的改变。

Memory Networks正是从这一角度出发得到的产物。直观来讲，Memory Networks可以理解成正常的model额外加一个记忆模块。

就好像我们使用的CPU（普通的model），它内部是有一个很小的ram的（我本科阶段是嵌入式方向，目前见过cpu内部最小的ram只是kb的量级），但如果要运行操作系统或软件的话，内部ram就不够了（memory不够），所以通常会外扩一个ram芯片（Memory Networks），这样cpu的运行并没有什么改变，只不过在需要memory来配合推理的时候，直接从Memory Networks中存取就可以了。</