智能主体需要什么样的学习系统？互补学习理论更新

智能主体需要什么样的学习系统？互补学习理论更新

摘要

更新了互补学习系统（CLS)理论，理论认为智能主体必须拥有两个学习系统，实例化如哺乳动物的新皮层和海马体。新皮层是逐渐获得结构化的只是表示，海马体是快速学习个人经验的细节，我们在理论中拓宽了海马体记忆重放的作用，指出记忆重放允许目标依赖的经验统计加权。我们讨论了最近关于该理论的挑战，并且通过证明海马体痕迹的反复激活可以支持某些形式的泛化，以及新皮层对与已知结构一致的信息的快速学习来拓展了该理论。最后，我们注意到该理论与人工智能主体设计的相关性，强调神经科学与机器学习之间的相关性。

互补学习理论

理论起源于马尔和其他人的早期思想。根据该理论，有效的学习需要两个互补的系统：一个位于新皮层，作为逐渐获得环境知识的基础，另一个以海马体为中心，允许快速学习个别项目和经验的细节。文章中首先回顾了理论的核心原则，接下来提供了三种类型的更新。首先拓展了海马体中记忆重放的作用，这一机制最初被提出支持将新信息整合到大脑皮层中，可能会支持一系列不同的功能，包括与目标相关的经验统计操纵。其次，描述了理论的最近的更新，来应对两个关键的经验挑战。
（1）有证据表明，海马体支持某些形式的泛化，这超出了最初设想。
（2）有证据表明，当新信息与现有知识一致时，将其整合到新皮层所需的时间可能比最初设想的要短得多。
（3）最后强调了CLS理论的核心原则与机器学习之间的最新主题之间的联系。包含与海马体相似的记忆模块的神经架构。虽然仍有几个问题尚未完全解决，但对挑战的拓展、对挑战的回应以及与机器学习的集成，使该理论与许多重要的近期发展达成了一致，并且为未来的研究提供了一个起飞点。

理论的总结

CLS理论提供了一个框架，在框架中描述了大脑中学习的组织，借鉴了早期的观点，提供了海马体和新皮层的计算功能和特征的综合，不仅解释了丰富的经验数据，而且与智能主体面临的挑战的理性观点产生了共鸣。

新皮层结构化知识表示系统

理论的核心原则是：新皮层储存了结构化的知识表征，存储在皮层神经元之间的连接中。这个原理源于观察到多层神经网络通过调整连接权值来训练，使网络输出的误差最小，从而逐渐学会提取结构。早期例如通过反复交叉接触英语单词的拼写和相应的发音，网络学会了大声朗读单词，这些网络支持在网络单元的连接权重中逐步获得结构化的知识表示，由环境的选择以一种有效的方式形成，并且推广到新的例子，同时也支持在该领域经常发生的非典型项目上的表现。这种表示可以描述为参数性的而不是基于物体的（非参数）连接权重可以看作一组参数优化整个域（全部单词的拼写和发音的语言）。根据这个理论。这种网络是在各个领域如感觉、语言、和语义知识表征和熟练化动作获得认知能力的基础。这可以看作是理论的延申，认为每个皮层神经元都学习了与特定类别相关的统计数据。
CLS理论提出：在这样一个参数化系统中学习必然会很慢，主要有两个原因:
（1）每个经验代表环境中的一个样本。因此，较小的学习率可以通过有效地聚合大量样本上的信息来更准确地估计潜在的总体统计量。
（2）每个连接的最佳调整取决于所有其他连接的值。在根据经验构建连接集成之前，如何通过改变连接权值来优化表示的信号将是既繁杂又微弱的，从而减慢了初始的学习。这个问题已经被证明在深度(即多层)神经网络架构中特别重要，最近在机器学习和灵长类动物支持物体视觉处