“小模型”也疯狂！迈向AGI之路竟在一个不到1兆大小的神经网络中？IEEE TAI | 一个基于椎体神经元的多树突视觉神经元模型

最新推荐文章于 2024-09-30 10:08:05 发布

程序员笑武

最新推荐文章于 2024-09-30 10:08:05 发布

阅读量869

点赞数 17

文章标签： agi 神经网络人工智能 chatgpt 面试职场和发展 llama

本文链接：https://blog.csdn.net/m0_59164304/article/details/141474910

版权

“ 本文旨在以一篇已经发表的期刊论文的内容为基础来分享本研究室在生物启发式神经网络中一些探索和发现，欢迎各位研究人员和炼丹师评论指导。PS：本研究讨论的“大小”模型均以内存占用和参数量为考量，并非大型语言模型（LLM）。”

1. 研究背景

近年来，人工智能（AI）领域在大规模模型的开发上取得了显著进展，特别是在深度学习和数据驱动的算法方面，展现了前所未有的计算能力和任务执行效果。然而，尽管这些大模型在特定任务中表现优异，通用人工智能（AGI）的目标仍然遥不可及。领域内的许多专家认为，单纯依赖规模化的模型并不足以实现具备“人类水平”智能的系统。相反，开发新一代的人工智能系统，尤其是那些能够模仿人类大脑的学习和认知方式，才是实现AGI的关键。

神经学家Jeff Hawkins 和图灵奖获得者 Yann LeCun 这两位不同领域的先锋对此持有独到的观点。首先他们都认为，仅凭不断扩大模型的规模和复杂性并不能赋予机器真正的智能。Hawkins 强调，大脑是目前唯一已知的通用智能系统，因而模拟其结构和功能的生物启发神经网络，是通向AGI的重要途径。另一方面，LeCun 也认可生物启发在人工智能发展中的重要性，但他更倾向于认为，简化和抽象生物学机制，结合自监督学习等新兴方法，能够带来突破性的进展。他指出，未来的AGI系统不应仅依赖于现有的大规模模型，而应专注于开发具备高效学习和推理能力的神经网络。

综合来看，生物启发的神经网络为构建具有“人类水平”智能的AI系统提供了一条清晰的路径。通过借鉴大脑的工作机制，并结合新兴的计算原理，研究者才能有望开发出真正通用、灵活且高效的人工智能系统。

2. 设计思路

模拟人脑中神经元处理信号的方法对于构建具有生物可解释性的神经网络至关重要。然而，现有的深度神经网络简化了单个神经元的功能，没有考虑树突的可塑性。在本文中，我们提出了一种用于图像分类的多树突锥体神经元模型（MDPN），该模型模拟了神经细胞的多级树突结构。与传统的前馈网络模型不同，MDPN 摒弃了过早的线性求和整合，采用了非线性树突计算，从而提高了神经可塑性。为了建立一个轻便有效的视觉分类模型，我们强调了单个神经元的重要性，并重新定义了其中每个区域的功能。

3. 模型架构

MDPN 模仿锥体神经元的生物结构，构建了一个总共五层的网络模型，包括突触前层、树突层、膜层、胞体层和轴突层，一个图像输入如下动图所示：

突触前层（关键点）：大多数神经元之间的连接发生在树突上的突触处。后突触神经元通过神经递质从前突触神经元接收输入信息。当前突触神经元释放的神经递质分子穿越突触间隙并附着于后突触神经元的膜受体上时，兴奋性或抑制性信号得以确认，从而促进或抑制神经冲动的传播。由于在树突内接收到的来自前突触神经元的信息处理过程仍然未知，并且存在不同的兴奋性或抑制性状态，我们通过参数实现了树突可塑性。具体而言，通过对权重和阈值的调整来改变突触连接的强度。对于一个图像输入，我们在MDPN的突触前层中先利用多个滑动窗口提取局部像素区域，并利用全新的非线性变换算子来模拟信号处理过程。公式为：

其中，为输入信号，为正整数，用于调整输出的映射空间。和分别表示权重矩阵和阈值矩阵，它们是根据高斯随机数生成的。根据和的不同组合，我们可以用来代表神经元的不同生物学状态。

树突层（关键点2）：树突是神经元接收和处理输入信号的主要部位，整合来自突触前神经元的兴奋性和抑制性输入。兴奋性输入增加神经元发射的可能性，而抑制性输入则起到抑制作用。一个神经元可能拥有多个树突分支，能够同时接收来自不同神经元的数千到数百万个输入信号。这些输入的综合影响决定了神经元的发射倾向。传统的线性求和方法在处理等量的全零和全一连接时会遇到信息丢失和梯度消失的问题。为解决这一问题，我们提出了一个结合对数函数的乘积算子，用于整合每个树突的信息，随后通过求和算子累加多个树突的输出。自然对数函数的引入，放大或缩小了相邻值之间的差异，保证了模型的稳定。公式接着突触前层的信息可以表示为：

是一个范围为[0,1]的正常数，以避免乘积后对数函数计算出的数值过小。我们提出的树突层机制不仅能对突触前层的输入信息进行非线性整合，还能区分归一化下的近似值，避免离群值对最终结果的影响，从而使整个模型不会出现梯度消失或爆炸的问题。

膜层：神经元的细胞膜具有选择性通透性，调控离子的和信号分子的进入，维持细胞的稳态。因此我们将利用最大池化操作来模拟膜层的功能，因为最大池化的功能也可以概括为信息过滤和部分位置信号增强。
胞体层：在神经元的信息处理过程中，细胞体起着至关重要的作用，因为它接收来自多个树突的信号。经过膜层过滤后，综合和突出的特征被传送到细胞体中，并在此进行最终整合。为了实现信息整合和激活神经冲动，我们在胞体层中设置了全连接操作和整流线性单元（ReLU）函数。全连接操作允许体感层接收来自网络中所有前层的输入，从而整合来自多个来源的信息。另一方面，ReLU 作为激活函数，通过过滤负输入和保留正输入来保留非线性。
轴突层：在神经元中，轴突主要是向下一个神经元传递信息的通道。神经冲动一旦在胞体产生，就会以电信号的形式穿过轴突，直至到达末端。最后，神经递质被释放并传递到突触后神经元的突触。因此，我们采用软最大激活函数将输出映射为 0 和 1 之间的值作为轴突层的模拟。

4. 模型性能

由于锥体神经元在人的大脑皮层中大量出现，因此在本文中，我们主要研究的是该模型在视觉任务中的应用。我们选用了16个各式各样的数据集，包括医疗成像，人脸，手写体，日用品等等。

对比于其他的SOTA模型，我们提出的MDPN以极小的参数量和内存占用达到了非常优秀的性能，如下表所示：

5. 分析与展望

MDPN的优势主要包括两点，一些具有生物学解释性的操作算子设计以及极小的空间复杂度。其中，1）具有生物可解释性的网络模型在推动AGI发展的道路上发挥着关键作用。这类模型不仅提升了AI系统的透明度和信任度，通过将生物学机制嵌入到模型中，使得人工智能能够更加自然地理解和处理复杂的生物数据。更重要的是，它还推动了跨学科的融合，促进了生物学与人工智能的深度结合，使AI系统更接近于具备人类般的智能和推理能力。这种发展路径为AGI的实现奠定了重要基础，不仅加速了科学发现与假设验证的过程，还帮助AI系统更好地理解和应对人类世界的复杂性。

2）较小的模型通常具备更高的计算效率和资源利用率，使得它们能够在功耗和计算资源有限的设备上实现实时处理，从而扩展了AI在边缘计算和移动设备中的应用场景。其次，这些模型往往具有更好的可解释性，因为它们的结构相对简单，更容易分析和理解，这有助于增强用户对AI系统的信任。此外，较小的视觉模型在处理特定任务时，能够在保持高精度的同时减少过拟合风险，提升模型的鲁棒性和泛化能力。通过简化模型结构，AI系统也更容易适应不断变化的环境和任务，进一步推动了AGI的灵活性和适应性，朝着更具通用性的智能系统迈进。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述