Memory Networks

Memory Networks

Memory network（MemNN）是Facebook AI在2015年提出来的。
主要目的是：利用记忆组件保存场景信息，以实现长期记忆的功能。
作者提到对于很多神经网络模型，如RNN、LSTM及其变种GRU虽然使用了一定的记忆机制，但是这些记忆都太小了。所以本文引入了一种可读写的外部记忆模块。

记忆网络的主要架构如下图所示，包括了记忆m和4个组件I、G、O、R。

其中I、G、O有点像LSTM的三个门。

• I（Input）：用于将输入转化为网络里内在的向量。
• G（Generalization）：更新记忆。
• O（Output）：从记忆里结合输入，把合适的记忆抽取出来，返回一个向量。每次获得一个向量，代表了一次推理过程。
• R（Response）：将该向量转化回所需的格式，比如文字或者answer。

以下是统一的公式：

注意其中I、G、O、R是四个组件，如果这四个组件的内部都是神经网络的话，那这个架构就叫做记忆神经网络。

2022/3/8注：个人感觉Memory Network主要是引入了一个可读写的外部存储模块 Memory Slot帮助记忆。