重磅！中科院自动化所开发基于内部复杂性的新型类脑网络模型有望实现AGI

人工智能学家

于 2024-09-28 17:44:34 发布

阅读量2

点赞数

文章标签：自动化网络 agi 运维

原文链接：https://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2650016313&idx=3&sn=d39bb88c61c846458b26d0faa53f63a2&chksm=8e59719deb3110988a42ec24c03d81c3fda518c38ba450905a204b5e07212b394476a411cea9&scene=126&sessionid=0

版权

来源：机器人大讲堂

得益于人工智能（AI）领域的革命性变革，特别是随着大型基础模型（Foundation Model）的发展，助推了机器人在通用人工智能领域的技术进步。然而，这些大模型往往依赖于外部复杂度的提升——即通过增加神经元数量和网络深度来增强模型的性能，但也会造成计算成本以及优化难度增加。近日中国科学院自动化研究所脑认知与类脑智能技术重点实验室何林轩提出了一种不同的设计思路，即建立了一种基于内部复杂性的新型类脑网络模型，以解决传统模型面临的计算资源消耗高等问题，目前该研究已发表在《Nature Computational Science》期刊上。

▍通过内部复杂度设计突破AI大模型局限性

AI大模型通过不断扩展神经网络的规模，包括增加神经元数量、加深网络层次以及扩展网络宽度，成功地在计算机视觉、自然语言处理、代码生成等多个领域取得了突破性进展。然而，AI大模型也存在较为明显的技术短板，目前不少研究人员都在试图让AI大模型减负，以减少其计算的复杂程度。

中科院自动化所研究人员表示，AI大模型对计算资源的需求极高。训练这些模型需要动用大规模的GPU集群，甚至需要借助云计算的力量。这种高资源消耗不仅使得训练成本急剧上升，还限制了小型企业和研究机构参与AI研发的可能性。此外，长时间的训练周期也是AI大模型不可忽视的短板，动辄数周甚至数月的训练时间，让模型迭代和优化变得异常艰难。这是调用AI大模型最大的问题，也是限制其发展的关键因素。

此外AI大模型的泛化能力不足，尽管AI大模型在特定数据集上表现出色，但一旦遇到与训练数据分布差异较大的新样本时，其性能往往会大打折扣。这主要是因为AI大模型往往过于依赖对训练数据的记忆，而非真正理解和掌握数据的内在规律。

同时AI大模型一定程度上会出现“黑箱”问题，也就是我们常说的可解释性。随着模型复杂度的提升，其内部的工作机制和决策过程变得越来越难以捉摸。这种不透明性不仅限制了模型在医疗、金融等对可解释性要求极高的领域的应用，也引发了公众对AI技术的担忧和质疑。

对于越复杂的AI大模型，对其优化的难度也就越大，面对数以亿计的参数和超大规模的网络结构，如何有效地进行参数调整、避免梯度消失或梯度爆炸等问题成了一个巨大的挑战。

面对AI大模型的种种局限，中科院自动化所研发人员开始提出开始探索一种全新的模型设计思路——通过提升单个神经元的内部复杂度来增强整个模型的性能，而非仅仅依赖于网络规模的扩大。这种思路的核心在于“内部复杂度”（Internal Complexity）的概念。

神经元和网络的内部和外部复杂性

内部复杂度指的是单个神经元或神经元集群在信息处理过程中所表现出的复杂性和动态性。它不仅仅体现在神经元数量或连接方式上，更关注于神经元内部的动力学特性、激活函数、离子通道机制等微观层面的复杂性。通过引入更精细的神经元模型，如Hodgkin–Huxley模型等，可以显著提升单个神经元的计算能力和信息处理能力。

相比于简单增加网络规模的做法，提升内部复杂度具有多方面的优势。它能够在保持模型规模相对较小的同时，实现更高的计算效率和更强的泛化能力。同时内部复杂度的提升有助于增强模型的可解释性，使得研究者能够更深入地理解模型的决策过程。

然而，内部复杂度的引入也带来了新的挑战。例如，更复杂的神经元模型往往意味着更高的计算成本和更长的训练时间。同时，如何有效地训练和优化这类模型也成为了一个亟待解决的问题。

▍中科院自动化所内部复杂度神经网络模型设计思路

中科院自动化所研究人员表示，该核心理论基础在于将神经元的内部复杂性与外部网络复杂性进行有效结合，从而探索一种新型的人工智能模型构建方式。这一理论框架基于对神经元动态特性的深入理解，特别是Hodgkin–Huxley（HH）模型等复杂神经元模型在信息处理中的独特优势。HH模型通过精确描述离子通道的动态变化，能够模拟神经元在真实环境下的复杂电生理行为。相比之下，传统的简单神经元模型，如Leaky Integrate-and-Fire（LIF）模型，虽然计算效率高，但在模拟复杂神经元动态方面存在局限性。

从tv-LIF到HH的过渡方法将外部连接的复杂性收敛到单个神经元的内部

信息瓶颈理论认为，在信息传递过程中存在一个最优的信息压缩点，能够在保留关键信息的同时去除冗余信息。通过将这一理论应用于神经元模型和网络结构的分析中，我们能够量化模型的复杂性与代表能力之间的关系，为模型优化提供理论指导。

在具体模型实现方面，中科院自动化所内部复杂度神经网络模型采用了多种技术手段将内部复杂度的概念融入神经网络中。首先，研究团队基于HH模型构建了一个具有丰富内部复杂性的神经元网络。每个HH神经元通过精确模拟钠离子、钾离子和漏离子通道的动态变化，展现出了更为真实的神经元行为。为了验证这一模型的有效性，团队将其与等效的LIF神经元网络进行对比分析，通过理论推导和实验验证证明了两者在动态特性和性能上的等价性。

高精度模拟案例的等效图

为了将HH神经元网络应用于实际任务中，研究人员进一步解决了其训练过程中的一系列难题。由于HH模型的复杂性，传统的训练方法往往难以直接应用。因此，研究人员引入了时空反向传播（STBP）算法，结合替代梯度（surrogate gradient）和尖峰编码（spike encoding）技术，实现了对HH神经元网络的有效训练。同时，通过精细调整模型的初始化参数，确保了训练过程的稳定性和收敛性。

为了验证内部复杂度模型在实际应用中的优势，研究团队设计了多任务学习、深度强化学习等多项实验，通过对比不同模型的性能表现，验证了内部复杂度模型在提升模型容量、增强鲁棒性和提高计算效率方面的显著优势。特别是在多任务学习中，内部复杂度模型展现出了更强的特征提取能力和泛化能力，在深度强化学习任务中，则表现出了更高的稳定性和控制精度。

此外，研究团队还通过计算浮点数运算量（FLOPs）、训练与推理时间以及模型参数数量等指标，对内部复杂度模型和外部复杂度模型进行了全面的性能评估。结果表明，尽管内部复杂度模型在单个神经元的计算成本上可能较高，但通过网络结构的优化和训练算法的改进，其整体性能仍能够超越或匹敌传统的外部复杂度模型。这一发现为人工智能模型的设计和优化提供了新的思路和方向。

▍内部复杂度神经网络模型有效解决泛化能力与鲁棒性问题

为了验证内部复杂度神经网络模型的有效性，中科院自动化所研究团队进行了多任务学习和深度强化学习两项测试，在多任务学习实验中，相比于外部复杂度模型（如LIF神经元网络），内部复杂度模型（如HH神经元网络）在多分类任务上表现出了更高的特征提取能力和分类准确率。在Multi-Fashion-MNIST数据集上的测试表明，HH神经元网络在两个独立分类任务上的平均准确率均超越了LIF神经元网络，这有力证明了内部复杂度在提升模型容量和泛化能力方面的关键作用。