AI领域地震！Pathway团队发现Transformer与大脑的“缺失环节“

最新推荐文章于 2025-12-15 14:50:45 发布
转载 最新推荐文章于 2025-12-15 14:50:45 发布 · 24 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2650040841&idx=2&sn=7d60432fbd73bbd08829a0d450d1398a&chksm=8e0aac70f1b4114fe9ddcad31297dad243ca174c9ca4baf197d0f50f05fda6343b6423819e4f&scene=126&sessionid=0
文章标签：

#人工智能 #transformer #深度学习

来源：AIGC深一度图片

在人工智能领域，一个根本性问题长期困扰着研究者：Transformer架构与人类大脑的工作机制究竟有何关联？ 尽管Transformer在语言任务上表现出色，但其张量运算与大脑的神经元网络结构看似毫无相似之处。

2025年9月，来自Pathway公司的研究团队（Adrian Kosowski, Przemysław Uznański, Jan Chorowski等）在预印本平台arXiv上发表了一篇重磅论文，提出了名为Dragon Hatchling (BDH) 的新型架构，首次在数学上建立了Transformer与大脑模型的桥梁。

01 技术背景：两大系统的根本矛盾

当前主流语言模型面临三大核心挑战：

  1. 时间泛化困境：Transformer在超过训练长度的推理任务中表现急剧下降（Shojaee et al., 2025）

  2. 结构解释缺失：模型参数与大脑神经元（约860亿个）和突触（超100万亿个）的动态对应关系不明

  3. 可预测性危机：长期自主运行的AI系统存在“回形针工厂”式风险（Bostrom, 2014）

论文指出关键矛盾：Transformer基于集中式张量计算，而大脑是分布式图网络系统。传统方法通过RASP等框架分析Transformer表达能力（Zhou et al., 2024），但无法解释其微观动力学机制。

02 破局者：BDH的三重设计哲学

BDH架构的核心创新在于融合逻辑推理与生物学习机制：

基础框架：局部图动力学

  • 神经元网络：n个神经元通过m条突触连接（n ≪ m ≪ n²）

  • 状态表示：突触权重σ(t)动态变化，参数矩阵G固定

  • 通信机制：同步调度器执行四阶段内核运算（K1-K4）

BDH架构示意图
BDH架构示意图
推理机制：Modus Ponens + Hebbian学习

系统遵循两条核心规则：

  1. 逻辑推理：

  2. 突触强化：

当神经元i激活并触发神经元j时，其连接权重增强Y(i)X(j)。这种设计使参数与状态规模达到1:1比例，突破传统RNN的O(n)状态限制。

生物实现：双电路模型

BDH包含两个关键电路：

  • 兴奋电路：处理信号传播

  • 抑制电路：通过积分发放阈值控制激活

  • 记忆机制：完全依赖突触可塑性（Hebbian学习）

BDH神经元电路模型
BDH神经元电路模型

03 GPU革命：BDH-GPU的张量实现

为解决图网络的计算效率问题，团队提出BDH-GPU变体：

核心创新

  • 维度设计：神经元维度n（约10⁶），特征维度d（256）

  • 参数量：(3+o(1))nd

  • 状态空间： （公式8）

双模块结构

  1. ReLU-lowrank前馈网络：产生高维稀疏激活

  2. 线性注意力机制：在神经元维度n操作

BDH-GPU架构图
BDH-GPU架构图
关键突破

  • 稀疏激活：y向量稀疏度约5%

  • 单义性：单个突触对应特定概念

  • 模块化：自发涌现高Newman模块度网络

04 实验验证：性能与可解释性双赢

团队在10M-1B参数规模下进行严格测试：

**性能对比
BDH-GPU与Transformer性能对比
BDH-GPU与Transformer性能对比
可解释性发现

  1. 突触定位：特定概念激活同一突触（图6.3）

  2. 稀疏模式：激活强度反映任务复杂度

  3. 网络涌现：参数矩阵直接可读图结构

突触激活热力图
突触激活热力图
极限扩展

  • 模型拼接：两个BDH模型直接组合形成更大模型

  • 无BPTT训练：突破传统反向传播限制

05 未来意义：迈向“热力学极限”理论

BDH架构为AI发展开辟新方向：

  1. 理论统一：首次建立Transformer-大脑的数学对应

  2. 可预测AI：为“热力学极限”行为提供理论基础

  3. 类脑计算：揭示人类语言处理的可能机制

正如论文结语所述：“BDH为推理模型的热力学极限理论打开大门，最终目标是实现时间泛化的概率近似正确（PAC）界限”。

论文信息：

  • 标题：The Dragon Hatchling: The Missing Link Between the Transformer and Models of the Brain

  • 机构：Pathway, Palo Alto, USA

  • 链接：https://pathway.com/research/bdh

  • 代码：https://github.com/pathwaycom/bdh

这项研究不仅解决了AI领域的根本性问题，更为构建可解释、可预测的下一代人工智能系统奠定了基础。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。

从隔离到合作：发现的作用 -- 三条 AI 协作之路：MCP 的工具箱、A2A 的探索能力与 Prompits 的团队协作
alvincho的博客
04-15 1015
随着多智能体系统（Multi-Agent Systems, MAS）的兴起，AI 不再是单打独斗，而是学会了如何协作。然而，在智能体之间展开协作的前提，是它们能发现彼此的存在与能力。本文以 Anthropic 的 MCP、Google 的 A2A 和 Prompits 三个框架为例，探讨了三种不同的智能体发现方式：MCP 完全没有发现机制；A2A 通过标准化的 Agent Card（代理卡）进行开放式发现；而 Prompits 则使用 Plaza 注册机制，建立结构化协作网络。
AI教我做事之RAG开发-23 RAG框架之Pathway平台框架研究
RA AI衍生者训练营的博客
03-18 853
Pathway 是一个高性能、低延迟的 Python ETL（Extract, Transform, Load）框架，专为流处理、实时分析、大型语言模型（LLM）管道以及检索增强生成（RAG）设计。它提供了一个简单易用的 Python API，开发者可以无缝集成常用的 Python 机器学习库，例如 LangChain 或其他嵌入模型。Pathway 的代码设计兼顾开发和生产环境，能够高效处理批处理和流式数据。官网地址：https://pathway.com/
Transformer 大模型在多模态 AI 中的创新应用与实践
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-11 1209
Transformer 架构在多模态 AI 领域展现出了巨大的潜力和价值，通过融合文本、图像、语音等多种模态的数据，实现了更强大的智能应用。本文系统地讲解了 Transformer 多模态模型的基础架构、关键技术、代码实现以及应用场景，从理论到实践为读者提供了一套较为完整的知识体系。同时，分析了在多模态模型开发和应用中需要注意的数据处理难点、模型优化策略以及伦理隐私问题等，为开发者和研究人员提供了有益的参考和指导。
Pathway: 实时数据处理与LangChain集成指南
bhawfgrcbtwny的博客
09-14 1119
实时数据处理：能够处理实时数据源和不断变化的数据。易于开发：简化了数据转换管道和机器学习应用的开发过程。灵活性：支持多种数据源和处理操作。与LangChain集成：可以轻松地在LangChain项目中使用Pathway的实时索引功能。Pathway为实时数据处理和机器学习应用提供了强大而灵活的解决方案。通过与LangChain的集成，开发者可以轻松构建具有实时数据处理能力的智能应用。随着数据量的增加和实时性要求的提高，Pathway将成为构建下一代AI应用的重要工具。
LAVT: Language-Aware Vision Transformer forReferring Image Segmentation
qq_51659249的博客
11-06 1153
参考图像分割是一项基本的，旨在从图像中分割出由自然语言表达所引用的对象。这项任务背后的关键挑战之一是利用引用表达式来突出显示图像中的相关位置。解决这个问题的一个范例是利用一个强大的视觉语言（“跨模态”）解码器来融合从视觉编码器和语言编码器中独立提取的特征。最近的方法通过利用Transformer作为跨模态解码器在这个范例中取得了显著的进步，同时Transformer在许多其他视觉语言任务中取得了压倒性的成功。在这项工作中，我们采用了一种不同的方法，表明可以。
从广播到注册：AI 智能体如何互相发现
alvincho的博客
05-07 1023
在多智能体系统中，发现机制就像神经网络——将分散的智能体连接成一个系统。Google 的 A2A 提供了灵活的广播能力；Prompits 的 Plaza 则提供了可持续、可扩展的结构化协作。随着智能体数量和复杂度的不断增长，基于注册的发现机制将成为多智能体生态系统的关键基础设施。智能体的未来不仅是更聪明的个体，而是更聪明的协作方式。Prompits是一个面向未来的开源多智能体系统（MAS）框架。🧠Pit（智能体）：具有特定能力的自主执行单元🔁Pathway（任务流程）：结构化的多步骤任务序列。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的CSDN博客~只想无穷无尽的学习~作息早8-晚8
12-11 1196
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 1004
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 469
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 632
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 796
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 586
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
nl2sql技术实现自动sql生成之Spring AI Alibaba Nl2sql
最新发布
疾风sxp的博客
12-15 468
上一节我们在介绍了自然语言转sql的基本思路，今天我们通过实操来解决这一技术实现，通过Spring AI Alibaba开源的nl2sql框架进行这块技术的讲解。
基于偏最小二乘算法（PLS）的多输出数据回归预测
2508_94230129的博客
12-14 213
PLS算法可以理解为是主成分分析（PCA）和多元线性回归（MLR）的结合体。它能够在处理自变量存在多重共线性的情况下，有效地进行回归建模。在多输出数据回归场景中，PLS可以同时对多个因变量进行建模预测，挖掘自变量和多个因变量之间的潜在关系。通过以上Matlab代码，我们完成了基于PLS算法的多输出数据回归预测的基本流程，从数据准备、建模到预测。PLS算法在处理多变量、多重共线性的数据时有着独特的优势，希望大家在实际项目中可以尝试应用它，挖掘数据背后的潜在规律。
Syslog / Flow / Telemetry 的 AI 聚合与异常检测实战（可观测性）
oQianYuan的博客
12-12 990
网络设备每天在后台发出巨量的可观测性数据，它们大多数被丢弃、被忽略、被埋没在日志平台里。Syslog、Flow、Telemetry 是三类最常用的基础信号，但它们一直没有在企业里发挥出该有的价值——所谓“看起来都有，出了问题却找不到原因”。过去几年里，我几乎把所有大型网络的事故复盘都做过一遍，最后得出的共同结论是：事故不是因为没有可观测性，而是因为信号太分散、太原始，而人类根本处理不过来。这篇文章的目标很直接：把 Syslog、Flow、Telemetry 三种信号，做成可输入 AI 的高质量特征，进而构建
强化学习入门-7(DDPG)
weixin_43823753的博客
12-14 701
注意这里Critic网络输出的是QsaQ(s, a)Qsa，因此输入层节点个数为状态与动作维度之和nn.ReLU(),nn.ReLU(),nn.Tanh(),nn.ReLU(),nn.ReLU(),
大模型的监督微调基础详解
AggressiveYu的博客
12-10 1046
在预训练完毕之后，我们的模型已经成为了一个学习完所有知识的学生，但是他缺乏用适当的方式表达知识的能力，还是停留在续写文本的阶段，无法直接回答我们的问题，所以监督微调这个时候就出来了，这个指令微调的作用，就是让模型在预训练的基础上，通过特定的数据和训练，让模型能够更好的回答用户的问题。 预训练一般包括三大要素，网络结构，损失函数，训练数据。指令微调和预训练的方式几乎没有区别，只是训练数据的不同。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值