2005年,一项惊人的研究发现揭示了空间行为中神经回路一个关键部分:当动物在探索它们所处的环境时,神经元的激发呈现出一种非常规则的六边形网格。
研究人员首先训练了一个循环网络来执行在虚拟环境中定位自身的任务,主要使用与运动相关的速度信号。哺乳动物处于不熟悉的地方或不容易发现地表的地方(如在黑暗中行走)时,这种能力会自然地激发。
图:用agent进行的实验产生了类似网格的表示(“网格单元”),它们与哺乳动物中的生物网格细胞非常相似。
接下来,研究人员试图通过创建一个artificial agent来作为实验小白鼠,要测试的理论是:网格细胞支持基于矢量的导航。
这是通过将最初的“网格网络”与一个更大的网络架构相结合,形成了一个agent,可以使用深度强化学习在具有挑战性的虚拟现实游戏环境中导航进行训练。
这个agent的表现超过了专业游戏玩家的能力,展现出动物一般的灵活导航方式,当游戏环境中可以有捷径时,agent会“抄近路”。
通过一系列实验操作,研究人员发现网格单元对于基于矢量的导航至关重要。例如,当网络中的网格单元被掐断时,agent的导航能力就会受损,而且对目标的距离和方向的判断等关键指标的表示变得不那么准确。
此前研究人员对网格细胞进行的广泛的神经科学研究提供了在试图理解其内部表示的线索,有助于agent的可解释性——这本身就是人工智能研究中的一个主要话题。
这项工作还展示了在虚拟现实环境中使用人工agent积极参与复杂行为,以测试大脑工作原理的潜力。
针对DeepMind这项研究,国内外众多专家给与评价,新智元整理如下:
中科院计算所研究员、中科视拓创始人、董事长兼 CTO 山世光:
基于数据进行学习后得到的人工神经网络中的规律和模式与长期进化而来的生物神经系统有相似之处——出现这样的可能性是偶然还是必然,这确实是很有趣,很值得探索的方向。
这也再次说明AI发展突飞猛进,国内和国外在AI算法上的差距越来越大。国内许多AI公司还处在重复使用开源算法阶段。除了讲故事、描绘理想,专家们也需要带头低调踏实做研究。
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。