从语言到认知：LLM如何超越人类语言网络

近年来，LLM在自然语言处理领域取得了显著进展，其表现与人类语言网络中的神经活动表现出惊人的相似性。

然而，LLM在训练过程中如何发展出与大脑对齐的表征，以及这种对齐性与语言能力之间的关系，仍然是一个未解之谜。

来自EPFL、MIT和佐治亚理工的学者最新论文【文献1】，通过分析34个训练检查点，8个不同模型含3千亿词元，做了详尽的研究。

论文探讨了LLM在训练过程中与人类语言网络的对齐性演变，揭示了形式语言能力与功能语言能力的不同发展轨迹。

核心发现

1. LLM的大脑对齐性主要与形式语言能力即语言规则知识相关，而非功能语言能力诸如世界知识和推理。

形式语言能力在训练早期迅速提升并趋于饱和，而功能语言能力则在训练后期持续发展。

2. 模型规模并不是大脑对齐性的可靠预测因素。在控制特征规模的情况下，较大的模型并未表现出更高的对齐性。

并且一旦模型超过人类语言熟练程度，下一个单词预测、行为对齐和大脑对齐之间的相关性就会消失。支持了LLM后训练中与人类语言处理迥异的观点。

3. 经由迄今为止最大的一组严格的神经语言基准测试，表明语言大脑对齐基准仍然不饱和，凸显了未来模型的改进机会。

人类语言网络最好由语言的形式方面而不是功能方面建模。对齐性由架构的归纳偏差、token整合机制和训练动态决定。

这些发现共同挑战了关于LLM对齐性如何形成的先前假设，并为人工与生物语言处理之间的关系提供了新的见解。

解读与启发

1. 人类语言网络主要编码语言的形式结构，而非更广泛的认知功能，即语言网络对句法和组合结构具有高度选择性。

这与神经科学领域的许多新的研究文献一致，为理解人类语言处理的神经基础提供了新视角。

2. LLM在训练过程中对齐性的演变规律，表明形式语言能力在早期达到饱和，而功能语言能力则持续发展。

这为优化LLM的训练策略提供了重要启示：训练初期应重点关注形式语言能力的培养，而后期则需加强功能语言能力的发展。

3. 未训练模型的对齐性研究表明，上下文整合机制是类脑语言表征的关键。

这为设计更接近人类语言处理的模型架构提供了指导，例如通过增强时间整合能力和优化位置编码机制来提升模型的对齐性。

4. 通过消除上下文化偏差和控制特征规模，论文提出的标准化大脑评分框架为未来研究提供了更严格的评估方法。

此框架能够更准确地比较不同模型的对齐性，从而推动LLM在模拟人类语言处理方面的进一步研究和发展。

5. 论文研究成果为神经科学和人工智能的交叉研究提供了新的方向。

未来的研究可以探讨LLM与其他认知网络，例如多重需求网络或心理理论网络等的对齐性，从而更全面地理解人工与生物智能之间的关系。

总结展望

通过对LLM训练过程中大脑对齐性的系统分析，论文揭示了形式语言能力与功能语言能力的不同发展轨迹，给出了未来研究的重要启示。

这些发现不仅深化了我们对LLM与人类语言网络关系的理解，也为优化模型训练和设计提供了新的思路。

未来的研究应进一步扩展对齐性评估的范围，探索LLM与其他认知网络的关系，并推动人工与生物语言处理的深度融合。

而做到深度融合，如笔者压缩即智能中探讨，需要从人类与大模型的语言体系中共通的三层结构分别入手：

基础“信息概率分布”处理体系；自然语言或者动物类似的吼叫啼鸣；形式语言如编程、数学符号语言。

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓