神经网络图灵机DAY1

回顾论文Neuron Turing Machines。现有传统的深度学习算法如cnn主要是基于学习好的模型对输入给出特定的输出，这些输出在特定的模型参数下是固定的、绝对的、不随时间和过去记忆变化的，这与人脑的工作机制明显不同，人的大脑应该是有一个类似于存储器的结构，可以记住一些学习到的知识，并在需要的时候可以迅速“检索”到并为当前的问题所用。现有的很多rnn架构就是一种可以基于过去的知识而对现有问题做出推测的一种方法，然而传统的rnn很难解决long-term dependency的问题，而在传统rnn基础上提出的能够解决long-term dependency的lstm又存在着能够“存储”的知识过少的问题。在这样的大环境下，本篇论文则基于人脑的“工作记忆”机制提出了用external memory来扩展神经网络的思路。基本思想很简单，就是为我们的神经网络额外开辟一个内存用来存储必要的信息，而用一个控制器来控制其内存的读写，这里的控制器可以使用lstm，这样额外开辟的内存就可以类比为RAM，而lstm的隐藏层可类比为register。利用lstm产生读写的控制“信号”，随后利用按内容寻址或按地址寻址从内存获取信息用于整个架构的任务，最后得到外部输出，也就是我们想要的结果。这里的寻址方式见论文Neural Turing Machines。