观点|基础模型产业发展路在何方？李飞飞等共话基础模型未来趋势

【专栏：前沿进展】8月，美国斯坦福大学李飞飞等学者联名发布「基础模型：机遇和挑战」的综述文章。8月23日，上述学者在纽约召开「Workshop of Foundation Models」研讨会，来自美国高校和科研机构的专家学者们参会并分享了他们的研究成果。

参加本次研讨的有：斯坦福大学教授李飞飞、斯坦福大学教授Chris Manning、华盛顿大学教授、AI2研究院高级研究经理Yejin Choi、斯坦福大学副教授Percy Liang、斯坦福大学助理教授马腾宇、香港科技大学教授Pascale Fung、OpenAI联合创始人兼首席科学家Ilya Sutskever等。

研讨会分两天进行，第一日主要对基础模型进行介绍，参与研讨的嘉宾主要就这些模型带来的机遇、技术机理等进行讨论；第二日的主题则涉及工业应用、社会伦理等方面的议题。本文是对研讨会一些重点内容的梳理。

研讨会视频回看可访问智源社区官网：https://hub.baai.ac.cn/view/9439

整理：赵言、秦红川、程庆、马瑞军、牛梦琳

审校：戴一鸣

---

一、什么是Foundation Model

在开篇演讲中，李飞飞首先介绍了斯坦福大学新成立的基础模型研究中心（CRFM），这是一个横跨多个学科多个领域的研究中心，研究中心的目标是在基础模型研究的开发和部署方面取得根本性进展，采取以人为本的方法来帮助人工智能的进一步发展。

李飞飞提出，要实现最终的目标，离不开各个领域之间深入的跨学科合作，包括学，历数学，物理学，经济史学，医学，法学，政治学，神经学，哲学等等，学者们致力于探索进行人工智能研究和教育的新蓝图。

以下内容为李飞飞和Percy Liang的演讲内容，智源社区进行了整理。

1. 基础模型：技术涌现和研发同质化

Liang认为，人工智能正在经历一场范式转变。当前出现的基础模型，如GPT3等，是这一范式转变的开始，这种转变将对人工智能技术的发展和应用产生深远的影响。

基础模型基于几十年前的自监督学习的理念。Percy Liang用了两个词来描述基础模型，即涌现和同质化。所谓「涌现」，意味着一个系统的行为是隐性推动的，而不是以显式的方式构建的；所谓「同质化」，即基础模型的能力是智能的核心，大模型的任何一点改进会迅速覆盖整个社区，而其自身的缺陷也会被所有下游模型所继承。

1.1  基础模型的涌现

涌现是指基础模型改变了AI解决任务的方式。在以往的工作中，研究者首先会设计、建立一个AI系统，然后完成一些任务，如机器翻译。有了基础模型后，大量的工作将关注于建立基础模型（即基础模型的涌现），然后再去发掘基础模型的能力，从某种意义上来说，这和工程已经脱离了关系，而是更多的科学发现的过程。

1.2 基础模型的同质化发展  

同质化这一现象和社会学更为相关。AI的每一项任务都有他自己的主题和独特的解决方法，比如问答系统，翻译，句法分析，情感分类等等，但是人工智能的主旨一直是同质化的（建立模型，然后解决任务）。从机器学习到基础模型的发展过程中，同质化正在逐渐实现。基础模型没有接受过任何特定任务的训练，但是却可以有效地将其应用到一系列下游任务中（这已经是很多研究都在尝试使用的方法）。

2. 基础模型存在的缺点和潜在问题

2.1 基础模型的缺点

目前，基础模型仍有一些问题。首先是模型缺乏对世界的常识，例如，GPT-3可能会认为铅笔比烤面包机重；其次，模型缺乏内部一致性，可能会得到错误的结果和不正确的信息。例如，GPT-3知道1000加上4000等于5000，但如果从输入中删除一部分信息，它得到的答案是错误的。

现有的基础模型尽管令人印象深刻，但仍然显示出对事物深层理解能力的不足，这种缺点在用于一些工程领域上时，可能有致命的问题，尤其是飞机制造业、桥梁建筑业等。