记忆增强神经网络

MemNN 记忆网络

　　一般的神经网络是训练好参数后，直接用参数与样本进行计算得出结果，而不会与内存进行交互的，就像一个参变量很多的函数。对于要处理一些很复杂的自然语言，或者要进行人机交互的模型，仅仅靠模型内部参数与参数之间的联结计算是很难达到目的。因此，在处理自然语言等内部概念十分密集的样本，并且可能有后续交互时，允许模型处理时进行内存的读写，就可以把样本有用的“抽象”存在分配给它的内存中，让神经网络能够“理解”和“思考”这些样本。从而将神经网络从一个死的输入输出“函数”，变成一个可与内存交互的东西，就好像一个操作系统一样。

　　内存给模型提供了一个短期记忆功能，模型可以“记住”你刚刚传给它的信息。比如对于可以阅读理解和交互的模型来说，当它读完一篇文章，它所理解的信息还包含在内存中（因为不能包含在模型参数中），你问它关于这篇文章的问题时，它就能读取内存中存储的文章抽象作答。这就是MemNN，训练以及测试流程图如下：

　　以下是各个过程的解释：

　　记忆网络Memory Network_网络_Irving_zhang的专栏-CSDN博客