Hybrid computing using a neural network with dynamic external memory（可微神经计算机）阅读

1. 利用神经网络与外部动态存储器进行混合计算

1. 原文链接Hybrid computing using a neural network with dynamic external memory。
2. 文章在Methods章节有着非常非常详细的讲解。
3. 我还没完全弄清其机制，欢迎讨论。
4. 本人YY了一下它和神经网络加速器。

2. 摘要

• 人工神经网络非常擅长感觉处理、 序列学习、 强化学习，而限制来表示变量和数据结构，并在长时间尺度上，缺乏这种外部存储器存储数据的能力。
• 在这里我们介绍一种机器学习模型称为可微的神经计算机 (DNC) 组成的一个神经网络，可以读取和写入外部记忆矩阵，类似于随机存取存储器在传统的电脑。像传统的电脑，它可以使用它的内存来表示和处理复杂的数据结构，但是，像一个神经网络，它可以从数据中学会这样做。
• 当训练与有监督学习，我们证明，DNC 可以成功地解答合成设计用来模仿自然语言中的推理和判断问题。这表明，它可以学习任务，例如查找指定点之间的最短路径和推断的缺失环节随机生成图表，之后再将这种能力泛化，用于交通线路图、家谱等特定的图。
• 使用强化学习训练后，DNC 能够完成移动拼图的益智游戏，其中符号序列会给出不停变化的游戏目标。
• 综上，我们的成果展示了 DNC 拥有解决复杂、结构化任务的能力，这些任务是没有外部可读写的存储器的神经网络难以胜任的。

3. DNC

• DNC 是一种神经网络耦合到外部存储器矩阵。如果内存可以被认为是 DNC 的 RAM，然后网络，被称为控制器，是可微 CPU的操作是通过梯度下降进行学习。DNC 架构不同于最近提出的Memory networks和Pointer networks的神经记忆框架，其区别在于DNC内存有选择性地可以写入和读取，允许迭代修改内存内容。
• 下面祭出神物。