文章来源:beyond-memory-boundaries-unlocking-cognitive-ai-with-differentiable-neural-computers
2024 年 5 月 1 日
介绍
想象一下,一个人工智能可以记住它所学到的每一个细节,从琐碎的细节到变革性的细节,并使用这个巨大的知识库几乎立即解决复杂的动态问题。这不仅仅是科幻小说中的虚构情节;通过可微神经计算机(DNC),它正在迅速成为现实。 DNC 由 DeepMind 于 2016 年开发,代表了传统神经网络和外部记忆系统的突破性融合,使机器能够以前所未有的方式学习和构建过去的经验。
背景
可微分神经计算机(DNC)是一种先进的人工智能系统,它融合了神经网络的特性和外部存储器组件,与传统计算机非常相似。它们由 DeepMind 于 2016 年推出,代表着在努力创造功能更全面、能力更强的人工智能系统方面向前迈出了一步。下面我们就来详细了解一下它们的组成和功能:
DNC 的组成部分:
- 控制器: 这通常是一个神经网络(通常是递归神经网络或 LSTM),负责管理 DNC 不同部分之间的交互。它根据接收到的输入及其内部状态,决定从内存读取或写入什么内容。
- 内存矩阵: DNC 的外部存储器是一个矩阵结构,其中存储信息。控制器通过读写操作与存储器交互。
- 读写头: 这是控制器与内存交互的机制。写头决定内存中的数据存储位置,而读头则从内存中检索数据。
- 接口向量: 这是控制器与读写磁头进行通信的媒介,决定读取什么、写入哪里以及写入什么。
功能:
- 学习读写: 与传统神经网络不同,DNC 可以学习何时何地将数据写入内存,以及何时将数据读回。这种学习由可微分过程引导,这意味着它可以使用标准的反向传播技术进行