【论文阅读】MemNN

MemNN

Memory Networks：记忆网络

任务

传统的RNN和其改进模型虽然具有记忆功能，但是在长期记忆中表现并不好，Memory Networks的目的是实现长期记忆。

方法（模型）

MEMORY NETWORKS

组成：1个内存模块(m—用索引的数组)，4个组件(I,G,O,R—通过学习得到)

组件

• $I$:（输入特征映射）—— 将输入转换为内部特征表示。

• $G$:（泛化）—— 对于给定新的输入更新旧的内存。称之为泛化是因为在这个阶段网络有机会压缩并泛化其内存以供未来某些需要。

• $O$:（输出特征映射）—— 给定新的输入与当前的内存状态，产生新的输出（在特征空间中）。

• $R$:（回复）—— 将输出转换为特定格式的回复。比如，文本回复或者一个动作。

流程

• 输入$x$（可以是单词，句子，图片，音频）
• 将$x$转为内部特征表示：$I(x)$
• 更新内存$m_i$：$m_i=G(m_i,I(x),m),\forall i$
• 计算输出特征：$o=O(I(x),m)$
• 将输出特征解码，得到最终回复： r = R ( o ) r = R(o)