在追逐更“大”模型的热潮中,我们也需审视
“越大越好”是否是未来发展的最优解
7月4日—6日,2024世界人工智能大会暨人工智能全球治理高级别会议在上海举行。国务院总理李强出席开幕式并致辞。李强强调,要推动人工智能更好服务全球发展、增进人类福祉,并建议要推进网络、算力、数据等普惠化,为广大中小企业和普通民众提供低门槛、低价格的人工智能服务,实现更大程度的数字包容。
人工智能的核心命题是让计算机学会完成各类复杂任务的知识。在经历了符号智能和专用智能等发展阶段后,以OpenAI GPT为代表的大模型技术建立了通用的模型架构和学习方法,能够从大规模数据中持续学习和积累知识,在诸多任务上表现出强大乃至超越人类的性能,标志着人工智能进入通用智能阶段。
2022年底,OpenAI发布ChatGPT后,引发全球关注。近两年,大模型技术突飞猛进,中国国内上演了“百模大战”。然而,在追逐更“大”模型的热潮中,我们也需审视,“越大越好”是否是未来发展的最优解。
数字社会的关键元器件——大规模集成电路的发展,或可为智能社会大模型技术的发展提供一定启示。如摩尔定律所示,集成电路的成功关键在于晶体管密度的迅速提升,而非仅数量的持续增加。通过持续改进制造工艺,电路密度的提升在增强电路性能的同时,也优化了能效与成本。对照至大模型技术,模型规模的增长确实带来了性能提升,但这种提升并非无限制。随着模型规模增长,所需的计算资源与能耗也在迅速提升,这将成为制约大模型发展的瓶颈。
因此,提升知识密度——即在给定的计算资源内,模型能够存储更多知识、具备更强智能——将成为未来大模型技术可持续发展的重要目标,亦是实现大模型普惠发展的重要路径。在此背景下,面向大模型技术的普惠发展,围绕极致提升知识密度,未来有三个方向值得重点关注与布局。
一是人工智能科学化。人工智能科学化旨在将人工智能从工程实践推向科学理论的形成和系统化发展,围绕“算法—架构—数据”的技术路线,形成推动大模型知识密度增强的理论基础。在算法层面,探索模型性能成长规律,在小模型中高效寻找最优数据和配置,进而外推至大模型。在架构层面,探索脑启发的模型架构,显著降低完成任务时参与计算的神经元和计算量,提高模型的推理计算效率。数据层面,探索可扩展、多样化的高质量数据构造体系,实现自动高效生产、筛选和验证数据。
二是计算系统智能化。计算系统智能化旨在面向智能技术优化和扩展现有硬件和软件架构,如底层芯片、操作系统、数据库、网络通信等,是实现大模型知识密度增强的设施保障。例如,在芯片层面,面向人工智能的专有芯片设计是近年来推动大模型高效运算的重要发展方向。尤其是目前国际上人工智能芯片设计仍处于发展阶段,中国在神经网络处理单元(即NPU)和类脑芯片等人工智能芯片设计方面已形成一定技术与产业优势,有望在此方向成为技术引领者。基于智能化的软硬件设施保障,推动算力、网络、数据等资源的高效利用,实现大模型发展所需基础设施的普惠化。
三是领域应用广谱化。领域应用广谱化旨在推动大模型在各专业领域的应用,实现知识密度增强的应用适配。这意味着,首先大模型需要具备更高的专业素养。在高价值应用场景,例如科学发现、高精尖制造业等领域,大模型具有低成本持续探索的优势,但前提是要让大模型具备超越常规的专业能力和决策精度。这需要模型具备对专业领域知识的深度理解。再者,大模型需增强风险管控能力。在高风险应用场景,例如自动驾驶、医疗诊断,大模型需要具备极高的情境敏感性、适应性以及决策可靠性,从而在尽可能规避风险的前提下,进行高效决策。通过增强大模型在各专业领域的适配能力,推动大模型应用的专业性、稳定性、安全性。
通用人工智能的发展目前尚处于初步发展阶段,距离人工智能技术的普惠应用仍需长期持续探索与投入。中国作为世界大国,理应在人工智能的发展中做引领者、担当者和示范者,协同世界各国,共同走向更加美好的智能未来。