Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境

Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境

机器之心 2025年01月15日 14:39 北京

自适应 LLM 反映了神经科学和计算生物学中一个公认的原理，即大脑根据当前任务激活特定区域，并动态重组其功能网络以响应不断变化的任务需求。

在自然界，「适应」是一种非常普遍的现象。例如，章鱼能够迅速改变自身的肤色和纹理，以融入周围环境，从而躲避天敌和捕捉猎物；人脑在受伤后能够重新连接自身神经回路，使个体能够恢复失去的功能并适应新的思维方式或行动方式。生物体展现出的适应能力使得生命能够在不断变化的环境中蓬勃发展。

在人工智能领域，适应的概念同样具有巨大的吸引力。想象一个机器学习系统，它能够动态地调整自身的权重以在陌生的环境中不断学习、进化。与部署在环境中的静态 AI 模型相比，这种有自适应能力的模型明显学习效率更高，而且有望成为与现实世界动态本质始终保持一致的终生模型。

日本 AI 初创公司 Sakana AI 的一项成果就是对这一方向的探索。在论文中，他们提出了一种可以根据不同任务动态调整模型权重的机器学习系统 ——Transformer^2。

Transformer^2 这个名称反映了它的两步过程：首先，模型分析传入的任务以了解其要求，然后应用特定于任务的调整来生成最佳结果。通过有选择地调整模型权重的关键组成部分，该框架允许 LLM 实时动态地适应新任务。

Transformer^2 在各种任务（例如数学、编程、推理和视觉理解）上展示了显著进步，在效率和特定于任务的性能方面优于 LoRA 等传统静态方法，同时需要的参数少得多。

作者表示，这项研究为人们提供了一个未来 AI 模型不再静态的初步展望。这些系统将在测试时动态地调整其计算能力，以适应它们所遇到的任务的复杂性，体现出能够持续变化和终生学习的「活」的智能。

有人就此展望说，「未来，『预训练』和『后训练』之间的界限将会消失，我们的模型和智能体将不断适应和自我改进。像这样的系统将为新一代自适应人工智能铺平道路，这种人工智能能够修改自身的权重和架构，以适应它们在环境中遇到的任务不断变化的本质。」