AI大模型趋势下，学术界怎么办

ChatGPT和Sora的问世，开启了世界范围的“百模”竞发。不过，在基本原理相似的技术路径上，人们发现，各方拥有的算力资源相差不多，数据规模和质量就成为竞争的关键因素。本质上，当前大模型的竞争已成为“数据工程”的竞争。学术界在这场竞争中面临双重挑战：首先，学术界缺乏足够的算力资源和数据资源进行大规模的模型训练；其次，即使拥有这些资源，“数据工程”的定位也与学术界探索基本原理的使命不符。一些围绕大模型应用的研究是否值得学术界投入，还存在诸多争议，例如，基于提示工程的大模型应用是否会成为新的学术研究领域？抑或只是技术培训领域的话题？对于这个问题，我更倾向于是后者。

从基本原理来看，目前的大模型没有跳出概率统计这个框架。现实世界中的任务（如图像分类或文本生成）可以被建模为概率模型，将数据的分布或生成过程表示为概率分布函数。而Universal Approximation Theorem在理论上阐明了神经网络能够以任意精度逼近这些概率分布函数，从而构建这些概率模型。就这个意义而言，大模型可被视为是由已有语料压缩而成的知识库，生成结果的语义正确性高度依赖于数据的空间广度、时间深度以及分布密度，更高度依赖于数据的质量。可以确定的是，作为一个高度复杂的系统，大模型是一个合适的研究对象，包括理解其内在机理，以及如何提升其训练和推断效率等。但是，作为一个人造系统，我们更应关心其构建过程的可重复性和可追溯性，进而保证结果的可解释和可信任。此外，研究大模型的应用技术无疑是一个重要领域，但就大模型技术的现状而言，基础不可信必然会导致应用技术不可信。这也意味着当前的大模型应用技术研究的实际价值具有与生俱来的不确定性。

当前对大语言模型的发展存在诸多争议，有技术路径之争、应用和商业模式之争，还有开源、闭源之争。在这里，我也大胆预测大语言模型的未来（至少是表达个人的一种期望）：作为压缩了人类已有的可公开访问的绝大多数知识的基础模型，大语言模型在未来需要像互联网一样，走向开源，由全世界共同维护一个开放共享的基础模型，尽力保证其与人类知识的同步。否则，任何一个机构所掌控的基础模型都难以让其他机构用户放心地上传应用数据，也就很难产生足以满足各行各业业务需求的大量应用。既然基础模型的训练语料本就是人类几千年来共同积累的知识财富，理应走向开源，让全世界共同受益，共同维护，避免无谓的浪费。在这个开放共享的基础模型上，全球范围内的研究者和开发者可以面向各行各业的需求探讨各种应用，构建相应的领域模型。以诞生于美国军方的互联网为对照，如果它仅仅停留在美国军方使用，没有走向民用，没有完全交给一个民间机构，互联网则难有今天的繁荣。