On the Opportunities and Risks of Foundation Models-introduction（2）

introduction

Social impact and the foundation models ecosystem

基础模型由于其令人印象深刻的性能和能力，在科学上很有趣，但使研究它们至关重要的是，它们正在迅速被集成到现实世界的人工智能系统的部署中，对人们产生深远的影响。例如，拥有40亿用户的谷歌搜索，现在依赖于BERT¹等基础模型作为其信号之一。

因此，我们必须停下来，问一下：这种社会影响的本质是什么？在本报告中，我们讨论了这个问题的许多方面：社会不平等的潜在加剧、能力增强导致的经济影响、计算需求增加导致的环境影响、虚假信息放大的潜在担忧、强大生成能力导致的法律后果、同质化导致的伦理问题，以及基础模型开发和部署的更广泛的政治经济。考虑到基础模型的复杂性质及其未映射的能力，我们如何才能负责任地预测和解决它们提出的伦理和社会考虑？一个反复出现的主题是，它更容易推理部署给特定用户的特定系统的社会影响，而不是推理基础模型的社会影响，而基础模型可以适应任何数量的不可预见的下游系统。

在尝试回答这些问题之前，我们需要打下一些基础。首先，让我们来区分对基础模型的研究和基础模型的部署。大多数公众所知道的东西都是基础模型研究——通过学术论文、演示和在排行榜上的进展。虽然知识的产生可以在塑造未来方面发挥至关重要的作用，但直接的社会影响是通过这些模型的实际部署，这些模型是由通常是私有数据的专有实践控制的。有时部署是通过新产品——例如，GitHub的Copilot6是基于OpenAI的抄本模型²，但通常是通过升级现有产品（例如，使用BERT进行谷歌搜索）。研究模型通常没有经过广泛的测试，并且可能有未知的故障模式；应该在不适合部署的研究模型上放置警告标签。另一方面，实际影响人们生活的已部署的基础模型应该经过更严格的测试和审计。

为了进一步理解基础模型的研究和部署，我们必须缩小并考虑这些基础模型所居住的整个生态系统，从数据创建到实际部署。需要注意的是，基础模型只是人工智能系统的一个组成部分（尽管是一个越来越重要的组成部分）。简化后，我们可以从阶段的顺序来考虑基础模型的生态系统，扩展训练和适应阶段。适当地，由于我们对社会影响感兴趣，人们占据了管道的两端。这种生态系统的观点让我们看到，关于基础模型的不同问题（例如，一个基础模型是否符合伦理）实际上应该根据不同的阶段得到回答。

(1)数据创建：数据创建基本上是一个以人为中心的过程：所有的数据都是由人创建的，而大多数数据至少都是关于人的。有时数据是由人们以电子邮件、文章、照片等形式为他人创造的，有时它是对人的测量（如基因组数据）或对人们生活环境的测量（如卫星图像）。需要注意的是，所有数据都有一个所有者，并且是有目的创建的（该目的可能包括也可能不包括培训基础模型）。
(2)数据管理：然后将数据管理成数据集。数据没有单一的自然分布；即使是最宽松的互联网爬网，也需要一些选择和后过滤。在尊重法律和伦理约束的同时，确保数据的相关性和质量至关重要，但也具有挑战性。虽然这在工业中得到了认可，但在人工智能研究中却被低估了.
(3)培训：在这些精心策划的数据集上的培训基础模型是人工智能研究的著名核心，尽管它只是许多阶段中的一个。
(4)适应：在机器学习研究的背景下，适应是关于创建一个基于基础模型的新模型来执行一些任务（例如，文档摘要）。对于部署，适应是关于创建一个系统，它可能需要许多不同的模块、自定义规则（例如，对输出空间的限制）或分类器（例如，毒性分类），并与其他互补信号结合（例如，问题回答模型生成的答案将根据相关文档进行验证）。例如，如果在下游采取适当的预防措施，一个能够产生有毒内容物的有问题的模型可能是可以容忍的。特定于应用程序的额外逻辑对于减轻危害至关重要。
(5)部署：当一个人工智能系统被部署给人类时，它会直接产生社会影响。虽然我们不希望部署基于可疑数据训练的潜在有害的基础模型，但允许它们在研究中推进科学理解仍有价值，尽管人们仍然必须谨慎行事。更一般地说，在大规模部署中，标准的做法是进行逐步发布，即部署发生在越来越多的用户身上；这可以部分地减轻任何潜在的危害。

虽然这份报告是关于基础模型的，但需要注意的是，许多影响来自于管道中其他阶段作出的决定，每个阶段都需要深思熟虑的监测和干预。虽然大型组织可能拥有整个管道，但每个阶段都可以由不同的组织来执行，例如，一家专门为应用程序开发人员可以使用的各种领域创建自定义基础模型的公司。

思考生态系统，行动模式。虽然社会影响取决于整个生态系统，但考虑到许多研究者和从业者的职权范围仅限于培训阶段，能够推理一个基础模型的社会影响仍然很重要。这是困难的，因为基础模型是未完成的中间对象，可以适应于许多下游应用程序，有时是由一个完全不同的实体用于不可预见的目的。我们需要的是两件事： (i)代理指标的代表潜在的下游评估（4.4：评估），和（ii）承诺记录这些指标³类似于数据表，如金属和塑料等材料，可以适应许多下游用例。

描述基础模型的潜在下游社会影响具有挑战性，需要对技术生态系统和社会都有深入的了解。如果不认识到它将如何部署，人们就不能充分评估基础模型的危害，也不能不考虑丰富的社会和历史背景而只定义自动指标。

The future of foundation models

基础模型已经展示了原始的潜力，但我们仍处于早期阶段。尽管它们被部署到现实世界中，但这些模型是非常了解的研究原型。即使是专业规范—罗伯特·默顿所说的科学精神⁴，周围的基础模式—也不发达。例如，在一些基本问题上缺乏一致意见，如模型何时“安全”发布，或社区应如何应对方法上的不当行为作出反应。鉴于基础模型的未来因此充满了不确定性，一个大问题是：谁将决定这个未来？

纪律多样性。基础模型背后的技术是基于在机器学习、优化、自然语言处理、计算机视觉等领域进行的几十年的研究。这些技术贡献来自于学术界和工业研究实验室。然而，关于建立基础模型本身的研究几乎只发生在行业中—谷歌、脸书、微软或华为等大型科技公司，或OpenAI或AI21实验室等初创公司，尽管AI2是一个明显的例外⁵。

技术进步的迅猛步伐和中央集权造成的堡垒引起了强烈的关注，需要人文主义者和社会科学家以及技术人员的关注。我们不应该依赖于只有在作出技术架构和部署决定之后才对道德和社会后果的事后审计。相反，我们需要从一开始就在基础模型及其周围生态系统的技术发展中深入融入社会考虑和伦理设计。学术机构的独特之处在于，它们在一个屋檐下拥有最广泛的学科集，从而汇集了计算机科学家、社会科学家、经济学家、伦理学家、法律学者、等等。鉴于学科多样性在理解和解决结合技术、伦理、法律、社会和政治层面的问题方面的重要性[⁶；⁷；⁸]，因此，我们认为学术界发挥关键作用在发展基础模型在这一种方式促进其社会效益和减轻社会危害，以及确定行动的每个阶段的生态系统从数据管理部署应该被严格禁止。

激励措施。基础模型的设计、开发和部署的政治经济为每个阶段的决策提供了不可避免的激励结构。人们和机构如何应对激励措施是经济学的一个基本教训。市场驱动的商业激励可以与社会效益很好地一致：使基础模型更准确、可靠、安全和高效，同时搜索各种潜在的用例，可以产生大量的社会效用。然而，商业激励也可能导致市场失灵和在股东无法抓住创新价值的领域投资不足。正如制药行业没有动力投入大量资源的研发疟疾治疗，因为穷人负担不起药物，科技行业没有动力投入大量资源技术旨在改善穷人和边缘人群的条件⁹。更重要的是，商业激励可以导致企业忽视社会外部性⁹¹⁰，如劳动力的技术置换、民主所需的信息生态系统的健康、计算资源的环境成本，以及对非民主政权的利润驱动的技术销售。最后，任何一个特定的公司都没有什么动力去创建一个开放的、分散的生态系统，以开发鼓励广泛参与的基础模式。

相比之下，大学长期以来和根深蒂固的研究任务是生产和传播知识和全球公共产品的创造[¹¹；¹²；¹³]。我们相信，学术界在塑造基础模型的发展方面具有独特的地位，以确保我们抓住具有潜在的巨大社会利益的方向，否则可能不会被行业优先考虑。

可访问性的损失。不幸的是，由于可获得性的丧失，学术界无法以最充分的方式参与其中。深度学习革命的一个经常被忽视的影响是增加再现性和开放科学：它越来越成为规范公开发布代码和数据集，和包如紧张流¹⁴和PyTorch¹⁵使人们更容易合作和建立彼此的工作。ML再现性挑战等倡议以及主要会议采用的再现性清单¹⁶，以及CodaLab工作表等平台帮助推进了社区再现性标准。这导致了技术创新和进步的激增。

基础模型开始扭转这一积极的趋势。一些模型（例如，GPT-3)根本没有发布（只有API才能访问有限的人群）。即使是数据集（例如，GPT-2）也没有发布。虽然训练过的模型可能是可用的（例如，BERT），但由于更高的计算成本和复杂的工程需求，绝大多数人工智能研究人员无法获得基础模型的实际训练。

一些有意义的研究仍然可以通过训练学术预算范围内的小模型来完成，事实上，尺度法预测的惊人规律性¹⁷使这是一个可行的策略，对于由于规模的差异是定量的（例如，准确性上升的情况）。然而，由于这些基础模型的突发性，一些功能，如上下文学习只在足够规模的模型中得到了证明，所以甚至需要规模来提出正确的问题。

也有可能有效地研究已发布的已有模型；事实上，这导致了NLP中一个大的子社区来探索这些模型[¹⁸；¹⁹]。对现有模型的访问有助于支持下游应用程序或识别缺陷（例如，偏差），但这可能不足以让我们设计更好的架构或为基础模型设计培训目标，从而修复这些缺陷（例如，减轻偏差）。值得反思的是，今天有多少NLP研究是基于BERT，一个特殊的（也有点武断的）基础模型。考虑到在这些模型的构建中注入社会意识和伦理设计的必要性，我们可能需要建立一个看起来与今天存在截然不同的基础模型。这将需要进行大规模的密集实验。

社区的努力，如EleutherAI和Hugging Face的大科学项目，正试图培训大型基金会模式，但行业可以培训的私营模式和对社区开放的模式之间的差距，如果没有增长，可能会保持很大。此外，今天的初创公司（OpenAI、人类学、AI21实验室等）。它们比学术界拥有更丰富的资源，因此仍然有能力培训最大的基础模型（例如，OpenAI的GPT-3）。然而，大型科技公司在资源方面处于完全不同的水平，特别是在基础设施、用户和来自其市场地位的数据方面。基础模型的基本集中性意味着开发它们的进入障碍将继续上升，因此，即使是初创公司，尽管它们很敏捷，也会发现很难竞争，这一趋势反映在搜索引擎的发展中²⁰。

缩小资源差距的一种方法是让政府投资于公共基础设施。我们可以以哈勃太空望远镜和大型强子对撞机等大型科学项目作为灵感，在那里，大量的投资使基础科学发现成为可能，而这是不可能的。我们可以想象一个类似的计算基础设施，从中对基础模型的学术研究将大大受益。在美国，新兴的国家研究云计划是朝着这个方向迈出的一步。

另一种补充的方法是依赖于志愿者计算，其中数十亿个计算设备（节点）中的任何一个都可以连接到一个中央服务器并贡献计算。折叠@home项目已经成功地实现了这种模拟蛋白质动力学的方法²¹。最近，学习@home项目正试图利用志愿者计算来训练基础模型²²。节点之间的高延迟连接和训练基础模型的高带宽要求使这成为一个开放的技术挑战。

总结。有巨大的经济激励来推动基础模型的能力和规模，因此我们预计未来几年将有稳定的技术进步。但是，一种主要依赖于紧急行为的技术对广泛部署于人们的适用性尚不清楚。显然，我们需要谨慎，现在是时候建立专业规范，使负责任的研究和部署基础模式。学术界和行业需要合作：行业最终做出具体决定基础模型将如何部署，但我们也应该依靠学术界，学术多样性和非商业激励知识生产和社会效益，提供独特的指导的开发和部署基础模型的技术和道德基础。

Overview of this report

2021年3月，我们在斯坦福大学创建了一个非正式的社区，由对基金会模式的某些方面感兴趣的学生、教师和研究人员组成。从一开始，这个社区不仅包括人工智能研究人员，还包括那些渴望将基础模型应用到他们的领域（如医疗保健和法律）的人，以及那些对社会问题（如伦理和经济学）感兴趣的人。随着讨论的进行，我们注意到在相互理解方面存在许多差距—技术如何工作，行业如何发展基础模型，如何思考伦理问题，等等，现有的文献只涉及一些碎片。因此，我们希望提供一个关于基础模型的更全面的图景，识别机会和风险，并为未来负责任的基础模型的发展建立一个建设性的愿景。

这份报告的撰写是一个实验：我们让100多个来自不同背景的人聚集在一起，写了一份涵盖基础模型的广泛方面的报告。本报告的很大部分是对现有工作的调查，但通过许多讨论，我们将其统一在一份报告中，以强调所有跨学科的联系。

结构。该报告分为26个部分，每个部分讨论了基础模型的一个方面。这些部分分为四个部分：能力、应用程序、技术和社会，尽管跨部分有许多连接。这些联系突出了一种集成的方法，在这种方法中，技术和能力以一种对实际社会问题敏感的方式开发，同时受到应用程序的启发和扎根。

图4。本报告分为四个部分：能力、应用程序、技术和社会，其中每个部分都包含一组部分，每个部分都涵盖了基础模型的一个方面。

虽然我们试图捕捉围绕基础模型的大多数重要主题，但这份报告将不可避免地不完整，特别是随着该领域的迅速发展。例如，许多应用程序（例如，自然科学、音乐、金融、农业）没有被包括在内，尽管它们与我们选择讨论的应用程序一样可能受到影响。研究基础模型如何与神经科学、认知科学和心理学的研究联系起来，以解释智能和帮助计算社会科学理解社会的努力，也将是很有趣的

作者贡献珀西·梁发起并概念化了整个报告的框架和结构。他和理信·邦马萨尼共同领导了去中心化的写作工作，并为各个部分提供了指导。Drew A. Hudson创建了报告中的所有数据，并与每个部分的作者讨论了它们的结构和内容。本报告的26个部分中的每一个都是由一部分作者所写的，他们的名字都列在每个部分的开头。然而，有许多讨论跨越了多个部分，所以对每个部分的实际贡献通常来自一个更广泛的集合。最后，我们注意到，并非本报告中所表达的所有观点都由所有作者持有。

Overview of capabilities

基础模型获得了各种可以为应用程序提供动力的功能。我们选择了五种潜在的能力：处理不同模式（如语言、视觉）的能力、影响物理世界（机器人）、执行推理以及与人类互动的能力（互动）。最后，我们最后对其能力的潜在限制进行了哲学讨论。

语言。NLP作为一个领域，为基础模型开辟了道路。虽然这些模型在标准基准测试中占主导地位，但这些模型目前获得的能力与那些将语言描述为人类交流和思维的复杂系统的能力之间存在着明显的差距。针对此，我们强调了所有的语言变化（例如，不同的风格、方言、语言），由于一些变异的数据有限，这带来了机会和挑战。此外，儿童语言习得比基础模型的训练更具有样本效率；我们研究了在文本和接地之外的信号如何有助于弥合这一差距。这两种语言特征都为未来的基础模型研究提供了明确的方向。

愿景。计算机视觉导致了人工智能中深度学习的采用²³，证明了在大型注释数据集上预训练的模型可以转移到许多下游设置。现在，对网络规模的原始数据进行预训练，而不是策划数据集，基础模型在计算机视觉上上升²⁴。这些模型在该领域的标准任务中显示出了良好的结果，如图像分类和目标检测，而对图像之外的多模态和具体化数据的训练可能会在重大挑战（例如，三维几何和物理理解，常识推理）方面取得进展。我们还讨论了建模中的一些关键挑战（例如，有效扩展视频的能力）和评估（例如，高阶能力的测量）以及应用程序（例如，医疗保健环境智能）和社会考虑（例如，监视），这些应用程序将决定基础模型对计算机视觉的影响。

机器人。机器人技术研究的一个长期目标是开发出能够在不同的物理环境中执行无数任务的“多面手”机器人。与语言和视觉不同的是，由于基础模型有大量的原始数据来训练这些模型，而且由于被固定于物理世界，机器人技术面临着根本性的挑战。机器人的主要挑战开发新型的基础模型——不同于他们的语言和视觉同行是获取足够的数据的正确形式有利于学习：我们探索丰富的数据（例如，人类的通用视频，等等），不是特定于特定的环境和跨模式（例如，语言、视觉）可能有助于弥补这一差距。这些新的机器人基础模型可以允许更容易的任务规范和学习，引入新的应用程序（例如，更好的机器人辅助家务任务），并提高了鲁棒性和安全性的重要性（例如，正式的安全评估）。

推理和搜索。推理和搜索问题，如定理证明和程序合成，一直是人工智能长期面临的挑战。组合搜索空间使得传统的基于搜索的方法难以处理。然而，众所周知，人类即使在大多数数学领域的领域也能直观地操作²⁵，现有的工作如AlphaGo已经表明，深度神经网络可以有效地指导搜索空间。但人类也可以在不同的任务中转移知识，促进了更有效的适应和更抽象的推理能力。基础模型提供了缩小这一差距的可能性：它们的多用途性质以及它们强大的生成和多模态能力，为控制搜索固有的组合爆炸提供了新的杠杆。

交互作用。基础模型显示出改变人工智能系统的开发人员和用户体验的明显潜力：基础模型由于其在适应方面的样本效率，降低了原型设计和构建人工智能应用程序的难度阈值，并由于其多模态和生成能力，提高了新用户交互的上限。这提供了我们鼓励未来的协同作用：开发人员可以提供更好地适合用户需求和价值观的应用程序，同时引入更动态的互动形式和反馈机会。

理解的哲学。一个基础模型怎么能理解它所训练的数据呢？关注自然语言的案例，我们确定了关于理解本质的不同立场，并探索它们与我们的中心问题的相关性。我们的初步结论是，对未来基础模型理解自然语言的能力的怀疑可能还为时过早，特别是在这些模型是在多模态数据上进行训练的情况下。

Overview of applications.

目前，基础模型的研究主要局限于计算机科学和人工智能，而基础模型及其所支持的应用程序的影响主要集中在科技行业。展望未来，基础模型显示出明显的潜力，可以将人工智能扩展到科技行业以外的许多领域，这表明这对人们的生活有更为普遍的影响。虽然有许多应用程序和领域需要考虑，但我们选择了三个应用程序——医疗保健、法律和教育——因为它们代表了我们社会的基本支柱.为了使基础模型对这些应用程序领域做出重大贡献，模型将需要特定的功能和技术创新来考虑每个领域中的独特考虑事项。此外，由于这些领域对社会功能至关重要，在这些领域应用基础模型需要涉及深入的社会技术问题，如涉及数据、隐私、可解释性、公平性和伦理。

医疗保健和生物医学。医疗保健任务（例如，通过疾病治疗进行的患者护理）和生物医学研究（例如，科学发现新的治疗方法）需要有限和昂贵的专家知识。基础模型在这些领域提供了明显的机会，因为跨许多模式（如图像、文本、分子）的大量数据来训练基础模型，以及由于专家时间和知识的成本而提高样本适应效率的价值。此外，基础模型可能允许改进界面设计，以便医疗保健提供者和患者与人工智能系统进行交互，它们的生成能力表明，可能存在药物发现等开放式研究问题。同时，它们也带有明显的风险（例如，加剧了医疗数据集和试验中的历史偏见）。要负责任地释放这一潜力，需要深入研究数据源和隐私方面的社会技术问题，以及模型的可解释性以及可解释性，以及对医疗保健和生物医学基础模型的使用进行有效监管。

法律申请要求律师阅读并产生冗长而连贯的叙述，结合不断变化的背景，解读模糊的法律标准。基础模型可能提供在这个领域的好处：充足的数据存在的法律文档和生成能力非常适合许多生成的任务，但需要显著改进的基础模型能够可靠地在各种来源的信息生成真实的长篇文档。与医疗保健领域的护理一样，考虑到法律领域的专家时间和知识的成本，对基础模型进行适应的样本效率价值更高，这可能允许将专业知识重新分配给紧迫的司法和政府服务问题。负责任地发展法律的基础模型将需要具体考虑隐私，并强调现有基础模型的核心局限性，这将需要在证明其行为的来源和保证其这一代的事实性方面取得基本进展。

教育教育是一个复杂而微妙的领域；有效的教学涉及对学生认知的推理，应反映学生的学习目标。基础模型的本质提出了前景尚未实现的人工智能教育领域：虽然某些教育数据流个别过于有限的训练基础模型，能够利用相关数据外领域（如互联网）和利用数据跨多种模式（如教科书、数学公式、图表、视频教程）共同提供了希望的基础模型广泛适用于教育任务。如果基础模型导致教育相关能力的显著改善，则有明显的潜力出现与基础模型的开放式生成（如问题生成）和交互（如向教师反馈）方面相一致的新应用；基础模型的样本有效适应表明了更强的自适应和个性化学习能力。在这种情况下，需要重新考虑将技术应用于教育的标志（例如，学生隐私），以及某些问题变得更加关键（例如，在教育中获得技术的不平等，技术辅助剽窃）。

Overview of technology

现在，我们将讨论构建更好的模型架构、培训和适应程序，当然，以及扩展系统背后的技术。一个关键但经常被忽视的话题是数据——它来自哪里，它的组成是什么？此外，我们希望基础模型对分布转移具有健壮性，并防止攻击者攻击。最后，我们希望理解为什么基础模型可以从数学的角度和经验的角度来工作。

建模。是什么结构特性产生了一个基础模型？在建模部分中，我们将探讨基础模型背后的底层架构，并确定了5个关键属性。首先，我们首先讨论计算模型的表达性—以捕获和吸收真实世界的信息，以及可伸缩性—以熟练地处理大量的高维数据。这些特性通过现有的架构成功实现，如变压器网络²⁶，这是迄今为止大多数基础模型的基础。然后，我们继续属性可能对下一代模型至关重要，包括：多模态—消费、处理和潜在产生来自不同来源和领域的内容，内存容量—有效地存储和检索获取的知识，最后，组合性，以促进成功泛化到新的环境和环境。我们相信，实现基础模型的全部潜力将取决于建模的进展来满足这些需求。

训练培训目标在数学上指定了模型应该如何从其训练数据中学习和获得能力。目前训练基础模型的现状涉及特定模式的目标（例如，文本的掩码语言建模²⁷，图像的SimCLR²⁸），这些目标通常是启发式选择的。我们设想，基础模型的未来培训目标将反映两个变化：来自系统证据和评估的原则选择，以及领域通用性，以跨数据源和模式提供丰富、可扩展和统一的培训信号。我们还讨论了重要的设计权衡，包括生成性训练和区别性训练，输入数据表示的选择，以及涉及目标显式表示的未来训练目标的潜力。

适应基础模型是中介资产；它们尚未完成，通常不应该直接使用，而是需要适应特定的下游任务。事实上的适应方法是微调，最近的工作表明，轻量级的微调替代方案和基于提示的方法可能实现良好的精度-效率的权衡。展望未来，我们设想一个更广泛的适应观点，而不仅仅是专门的基础模型来执行感兴趣的任务：适应将减轻独立基础模型的缺陷（例如，时间适应以反映世界上随时间的变化）或引入约束（例如，GDPR符合被遗忘的权利）；这种关于适应的更广泛的观点与对新的评估方案的需要相一致，该方案系统地评估适应方法，同时控制涉及适应的资源（如运行时、内存）和访问需求。

评估评估通过提供一种方法来跟踪进展、理解模型，并记录它们的能力和偏差，从而为基础模型提供了上下文。基础模型挑战了机器学习中标准评估范式实现这些目标的能力，因为它们从特定任务中是一步的。为了设想适合基础模型的新评估新范式，我们讨论了(a)直接评估基础模型来衡量其固有能力，并告知如何训练基础模型，(b)通过控制适应资源和访问来评估特定任务模型，以及©更广泛的评估设计来提供除了准确性（例如，鲁棒性、公平性、效率、环境影响）之外的更丰富的背景。评估实践的改革将允许评估充分服务于基础模型范式中涉及的不同目标和利益相关方。

系统训练数据决定了基础模型可用的理论信息，模型架构和训练目标决定了可以提取多少这些信息，而计算机系统决定了什么是实际可实现的。系统是在数据和模型大小方面伸缩的关键瓶颈，这两者似乎都通过功能的改进可靠地跟踪。为了确保我们能够有效地训练下一代的基础模型（在时间和成本方面），我们将需要共同设计算法、模型、软件和硬件。这种协同设计已经开始以各种形式出现，从精心调优的并行性策略到新的架构，如基于检索和专家混合模型。除了培训之外，我们还将考虑在基础模型之上部署应用程序所需要的内容（例如，有效的推理）。

数据数据是基础模型的命脉；这些模型的训练数据在很大程度上决定了这些模型能够获得的这些能力。数据的中心性并不是基础模型所特有的；最近呼吁以数据为中心的人工智能²⁹表明了管理、理解和记录用于训练机器学习模型的数据的普遍重要性。具体来说，对于基础模型，目前的做法是使用未指明或不明确的原则来选择培训数据，而培训数据的性质普遍缺乏透明度。我们认为需要另一种方法来重新想象围绕基础模型的数据生态系统：我们利用数据可视化和管理方面的工作，为基础模型提出一个数据中心。我们阐明了这个建议是如何与基础模型的许多相关的以数据为中心的考虑相联系的：选择、管理、文档化、访问、可视化和检查、质量评估和法律法规。

安全和隐私目前，基础模型的安全和隐私还很未知。从根本上说，基础模型是一个高杠杆的单点失败，使它们成为攻击的主要目标：现有的工作展示了这些模型的各种安全漏洞（例如，产生不良输出）或隐私风险（例如，记忆训练数据）。此外，基础模型的通用性加剧了这些问题，加剧了功能蠕变或双重使用（即用于意外目的）的风险。为了安全起见，我们将基础模型看作类似于传统软件系统中的操作系统；我们讨论安全基础模型的步骤，如果实现，将为可靠的ML应用程序提供一个强大的抽象层。在隐私方面，通过利用来自公共数据的知识转移，基础模型可以使样本更有效地适应敏感数据分布，也就是说，当使用基础模型构建应用程序时，隐私保护应用程序可能会导致更少的准确性下降。

对分布转移的稳健性标准机器学习的一个主要局限性是，它产生的模型对分布转移不具有鲁棒性，其中训练分布与测试分布不匹配（对于下游任务）。现有的工作表明，在广泛的未标记数据上训练一个基础模型，可以提高自适应模型在各种变化中的鲁棒性。这为改进鲁棒性基础模型的训练和自适应开辟了一套新的有前途的方向。然而，我们并不认为基础模型是实现稳健性的万灵药——诸如跨时间外推和虚假相关性这样的挑战不太可能得到完全解决。

人工智能安全与对准当考虑到这些模型的潜在现实应用时，确保基础模型可靠、健壮和可解释性越来越重要。除了关键和即时的考虑外，我们还考虑了基础模型与更大规模的风险、危害和危害之间的关系，随着模型能力的不断发展，这些风险有可能增加相关性。例如，我们考虑对齐基础模型的重要性，这样它们就不会使用错误指定的目标或值进行部署。我们还讨论了预测基础模型的突发行为（的相关性，例如，欺骗或战略计划的能力)，这可能会使适应特定任务的尝试复杂化，并可能需要新的可解释性或评估。

理论学习理论为应用机器学习中遇到的各种环境提供了广泛的基础；理论提供了理解、原则和保证来补充实证发现。目前，对基础模型的研究主要是经验性的：标准监督学习的理论虽然相对成熟，但还不足以充分解释基础模型。具体来说，基础模型机制内的训练阶段和适应阶段之间的差异明确指出了现有理论的不足，因为这些阶段对应于（潜在的）完全不同的任务和数据分布。然而，我们努力通过理论上的进步来解决这种差异，即使是在简单、有限的环境中，也将提供有用的见解。

可解释性可解释性为基础模型提供了清晰的信息：支撑基础模型的深度神经网络的不透明性，以及预期的基础模型的普遍性，增加了理解这些模型及其能力的必要性。目前的可解释性方法通常是用来解释和解释特定任务模型的行为的；基础模型的性质（即这些模型有利于的广泛任务以及它们获得的意外突发属性）为可解释性研究带来了新的挑战。为了讨论基础模型的可解释性，我们提出了单模型-多模型范式，它旨在确定一个模型（基础模型）及其许多模型（其适应的衍生物）在多大程度上共享决策构建块。除了解释决策组件，我们进一步讨论上下文中的解释基础模型（例如，模型生成的事后解释的有效性）以及驱动模型行为的机制（这可能澄清的程度理解基础模型可以扩展到理解他们适应衍生品）。鉴于我们认为可解释性在基础模型研究中的关键作用，我们最后对可解释性和非可解释性的社会影响进行了评估.

Overview of society.

我们相信，基础模式的快速发展，并适应和部署到各种应用程序，将对社会的健康产生广泛的影响。让这些模型如此令人兴奋和如此令人不安的是它们的任务不可知论性。当我们谈论部署给用户的特定系统时，社会影响更容易理解（但仍然很重要），但是在开发基础模型时，我们如何考虑所有可能的系统和用例的社会影响呢？

不平等和公平在许多情况下，机器学习已被证明有助于，并潜在地放大了社会不平等。基础模型可能会扩展这一趋势，即进一步扩大对历史上受到歧视的人的不公正待遇。然而，理解不平等和基础模型之间的关系需要考虑基础模型的抽象化；基础模型是适用于影响用户的应用程序的中间资产。因此，我们描述了内在偏差，即基础模型中预示危害的属性，以及外在危害，即在使用基础模型构建的特定应用环境中产生的危害。我们对导致这些偏见和危害的各种来源（例如，培训数据、基础模型开发人员之间缺乏多样性、更广泛的社会技术背景）进行了分类，强调了来源追踪以理解伦理和法律责任的重要性和技术难度。在基础模型范式中，我们不认为不公平是不可避免的：为了解决基础模型产生的不公平结果，我们同时考虑主动干预（例如，反事实数据增强等技术方法）和反应性追索权（例如，反馈传播和道德/法律责任归因机制）。

误用我们将基础模型误用定义为基础模型的使用，因为它们是技术上的目的（例如，生成语言或视频），但目的是造成社会伤害（例如，生成虚假信息，开发骚扰的深度伪造）。我们认为，基础模型的进步将导致更高质量的机器生成内容，这些内容将更容易创建和个性化，用于误用目的。例如，虚假信息行为者可以使用它们来快速生成针对不同人口统计群体（如国籍、政党、宗教等）的文章集合。虽然这些新功能可能会限制现有的人类有害内容检测方法（例如，在不同来源跟踪的类似文本），但基础模型本身可能作为自动误用检测器提供有前途的潜力。

Environment基础模型是计算成本昂贵的训练制度的副产品，现有的轨迹倾向于更密集的模型；这种训练所需的能量与向大气中释放更多的碳和环境的退化相一致。目前，目前的讨论集中在这些巨大的一次性培训成本和在重复使用中摊销这些成本的潜力。我们试图通过确定形成基础模型的环境影响计算的假设来澄清这些讨论。进一步，我们设想周围的生态系统基础模型需要一个多方面的方法： (a)更计算模型，硬件和能源网格都可以减轻这些模型的碳负担，(b)环境成本应该是一个明确的因素通知基础模型如何评估，这样基础模型可以更全面地与更环境友好的基线，和©围绕环境影响的成本效益分析需要更大的文档和测量整个社区

Legality基础模式目前是建立在脆弱的法律基础上的；该法律对这些模式的发展和使用的影响在很大程度上还不清楚。将需要基础模型的法律和监管框架，以及更普遍的人工智能技术框架，以影响、限制甚至促进研究、开发和部署方面的实践。围绕美国的法律景观，现有的对算法工具的考虑仍然广泛地不确定，我们强调了模型预测的责任和对模型行为的保护的相关问题。关于这两个问题，我们描述了考虑到基础模型的中间状态（相对于面向用户的特定于任务的模型的中间状态），需要如何推进法律标准来解决这些问题。

经济基础模型由于其新颖的能力和在各种行业和职业中的潜在应用，很可能会产生重大的经济影响。我们考虑了发展和使用基础模型对美国和全球经济未来的影响，重点是生产力、工资不平等和所有权的集中。

规模的伦理正如在5.1：公平问题中所讨论的，除了存在日益不平等的风险外，基础模型的广泛采用还带来了其他伦理、政治和社会问题。我们讨论了与基础模型的应用规模相关的伦理问题，如同质化和权力的集中，以及适合解决这些问题的规范和发布策略。

---

1. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Association for Computational Linguistics (ACL). 4171–4186. ↩︎

2. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. 2021f. Evaluating Large Language Models Trained on Code. arXiv:2107.03374 [cs.LG] ↩︎

3. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, and Timnit Gebru. 2019. Model Cards for Model Reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency (Jan 2019). ↩︎

4. Robert K Merton. 1979. The normative structure of science. The sociology of science: Theoretical and empirical investigations (1979), 267–278. ↩︎

5. Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. 2019b. Defending Against Neural Fake News. In Advances in Neural Information Processing Systems (NeurIPS). 9054–9065. ↩︎

6. Lu Hong and Scott E Page. 2004. Groups of diverse problem solvers can outperform groups of high-ability problem solvers. Science 101, 46 (2004). ↩︎

7. Miriam Solomon. 2006. Norms of epistemic diversity. Episteme 3, 1 (2006), 23–36. ↩︎

8. Daniel Steel, Sina Fazelpour, Kinley Gillette, Bianca Crewe, and Michael Burgess. 2018. Multiple diversity concepts and their ethical-epistemic implications. European journal for philosophy of science 8, 3 (2018), 761–780. ↩︎

9. Rob Reich, Mehran Sahami, and Jeremy M. Weinstein. 2021. System Error: Where Big Tech Went Wrong and How We Can Reboot. Harper. ↩︎ ↩︎

10. Daron Acemoglu. 2021. Redesigning AI. MIT Press. ↩︎

11. Clark Kerr. 2001. The Uses of the University. Harvard University Press. ↩︎

12. Diana Rhoten and Craig Calhoun. 2011. Knowledge matters: The public mission of the research university. Columbia University Press. ↩︎

13. Martha Craven Nussbaum. 2010. Not for profit: Why democracy needs the humanities. Princeton University Press. ↩︎

14. Martin Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Geoffrey Irving, Michael Isard, et al. 2016. TensorFlow: A system for large-scale machine learning. In Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI). Savannah, Georgia, USA. ↩︎

15. Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Köpf, Edward Yang, Zach DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. 2019. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In Advances in Neural Information Processing Systems (NeurIPS). ↩︎

16. Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent Larivière, Alina Beygelzimer, Florence d’Alché Buc, Emily Fox, and Hugo Larochelle. 2020. Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program). ↩︎

17. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. ArXiv abs/2001.08361 (2020). ↩︎

18. Anna Rogers, Olga Kovaleva, and Anna Rumshisky. 2020. A primer in bertology: What we know about how bert works. Transactions of the Association for Computational Linguistics (TACL) 8 (2020), 842–866. ↩︎

19. Christopher D Manning, Kevin Clark, John Hewitt, Urvashi Khandelwal, and Omer Levy. 2020. Emergent linguistic structure in artificial neural networks trained by self-supervision. Proceedings of the National Academy of Sciences 117 (2020), 30046–30054. ↩︎

20. Kira Radinsky. 2015. Data monopolists like Google are threatening the economy. Harvard Business Review 2 (2015). ↩︎

21. Adam L Beberg, Daniel L Ensign, Guha Jayachandran, Siraj Khaliq, and Vijay S Pande. 2009. Folding@home: Lessons from eight years of volunteer distributed computing. In 2009 IEEE International Symposium on Parallel & Distributed Processing. 1–8. ↩︎

22. Max Ryabinin and Anton Gusev. 2020. Towards Crowdsourced Training of Large Neural Networks using Decentralized Mixture-of-Experts. arXiv preprint arXiv:2002.04013 (2020). ↩︎

23. Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. 2015. Imagenet large scale visual recognition challenge. International journal of computer vision 115, 3 (2015), 211–252. ↩︎

24. Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. 2021. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020 (2021). ↩︎

25. George Lakoff and Rafael Núñez. 2000. Where Mathematics Comes From: How the Embodied Mind Brings Mathematics into Being. Basic Books, New York. ↩︎

26. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. arXiv preprint arXiv:1706.03762 (2017). ↩︎

27. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Association for Computational Linguistics (ACL). 4171–4186. ↩︎

28. Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020c. A simple framework for contrastive learning
    of visual representations. In International Conference on Machine Learning (ICML). 1597–1607. ↩︎

29. Gil Press. 2021. Andrew Ng Launches A Campaign For Data-Centric AI. ↩︎