探讨大模型的未来

1、基础模型已经展示了原始的潜力，但我们仍处于早期阶段。尽管这些模型在现实世界中得到了应用，但它们在很大程度上是研究原型，人们对其了解甚少。甚至围绕着基础模型的专业规范——Robert Merton称之为科学精神[Merton 1979]。例如，在一些基本问题上缺乏共识，例如模型何时可以“安全”发布，或者社区应该如何应对方法上的不当行为。考虑到基础模型的未来充满了不确定性，一个大问题是:谁将决定这个未来?

2、学科多样性。

       基础模型背后的技术是基于机器学习、优化、NLP、计算机视觉等领域数十年的研究。这些技术贡献来自学术界和工业研究实验室。然而，建立基础模型本身的研究几乎只出现在行业——大型科技公司，如谷歌、Facebook、微软或华为，或初创公司，如OpenAI或AI21实验室，尽管AI2是一个显著的例外[Peters等人2018;zeller et al. 2019b]。

        技术进步的速度之快，以及权力集中所造成的固守，引发了强烈的关注，除了技术专家外，还需要人文主义者和社会科学家的关注。我们不应该依赖于道德和社会后果的事后审计和反思，这种审计和反思，只在技术架构和部署决策做出之后才进行。相反，我们需要从一开始就将社会考虑和伦理设计深入到基础模型及其周围生态系统的技术开发中。学术机构的独特之处在于，它们在一个屋檐下拥有最广泛的学科集合，从而将计算机科学家、社会科学家、经济学家、伦理学家、法律学者等聚集在一起。考虑到学科多样性在理解和解决结合技术、伦理、法律、社会和政治维度的问题方面的重要性[Hong和Page 2004;所罗门2006;Steel et al. 2018]，因此，我们认为学术界在发展基础模型方面发挥着关键作用，以促进其社会效益和减轻其社会危害，并确定生态系统各个阶段的行动所处的环境从数据管理到部署都应该被严格禁止。

3、激励。

       设计、开发和部署基础模型的政治经济学为每一个阶段的决策提供了不可避免的激励结构。个人和机构如何对激励做出反应是经济学的一门基础课。市场驱动的商业动机可以很好地与社会效益相匹配:使基础模型更准确、可靠、安全、高效，同时寻找各种各样的潜在使用案例，可以产生大量的社会效用。然而，在股东无法捕捉创新价值的领域，商业激励也可能导致市场失灵和投资不足。正如制药行业没有动力投入大量资源研发疟疾治疗方法一样，由于穷人负担不起药物，科技行业几乎没有动力将大量资源投入到旨在改善穷人和边缘化人群状况的技术上[Reich等人。2021]。此外，商业动机可能导致公司忽视社会外部性[Acemoglu 2021;例如劳动力的技术替代、民主所需的信息生态系统的健康、计算资源的环境成本、以及利润驱动的向非民主政权出售技术。最后，对于任何给定的公司来说，创建一个开放、去中心化的生态系统来开发鼓励广泛参与的基础模型几乎没有什么动力。

       与相比之下，大学长期以来根深蒂固的研究使命是生产和传播知识，创造全球公共产品[Kerr 2001;Rhoten and Calhoun 2011;努斯鲍姆2010]。我们相信，学术界具有独特的定位，可以塑造基础模型的发展，以确保我们捕获具有潜在的巨大社会效益的方向，否则可能不会被行业优先考虑。

4、缺乏可访问性

       遗憾的是，学术界一直未能以最充分的方式参与进来，可能是由于可访问性的缺乏。深度学习革命的一个经常被忽视的影响是可重复性和开放科学的增加:公开发布代码和数据集越来越成为规范，像TensorFlow [Abadi et al. 2016]和PyTorch [Paszke et al. 2019]这样的包让人们更容易协作和建立彼此的工作。像ML可重现性挑战和主要会议采用的可重现性检查表等举措[Pineau等人。2020]，以及像CodaLab Worksheets11这样的平台，都有助于提高可重现性社区标准。这导致了技术创新和进步的激增。

      基础模型开始逆转这一积极趋势。有些模型(例如GPT-3)根本就没有发布(仅对有限的人群提供API访问)。甚至数据集(例如GPT-2)也没有发布。虽然训练过的模型可能是可用的(例如BERT)，但由于高得多的计算成本和复杂的工程要求，对绝大多数人工智能研究人员来说，基础模型的实际训练是不可用的。

5、规模

     一些有意义的研究仍然可以通过在学术预算范围内训练较小的模型来完成，事实上，比例定律所预测的令人惊讶的规律性(Kaplan等人，2020年)使之成为一种可行的策略，适用于规模差异定量的情况（例如，准确度提高）。然而，由于这些基础模型的紧急性质，一些功能（如上下文学习）仅在足够大的模型中得到证明，因此甚至需要规模来提出正确的问题。

6、也可以有效地研究已经发布的预先存在的模型;事实上，这已经在NLP中产生了一个大型的子社区来探索这些模型[Rogers et al. 2020; Manning et al. 2020]。访问现有模型对于为下游应用程序提供动力或识别缺陷（例如，偏差），但是这可能不足以让我们为能够修复这些缺陷的基础模型设计更好的架构或训练目标（例如，减轻偏差）。值得反思的是，今天有多少NLP研究是基于BERT的，BERT是一个特定的）基础模型。鉴于需要将社会意识和道德设计注入到这些模型的构建中，我们可能需要构建与今天存在的完全不同的基础模型。这将需要大规模的密集实验。

7、EleutherAI和Hugging Face的BigScience项目等社区努力正在尝试训练大型基础模型，但行业可以训练的私人模型与向社区开放的模型之间的差距可能仍然很大，如果不是增长的话。此外，今天的初创公司（OpenAI，Anthropic，AI 21 Labs等）比学术界资源丰富得多，因此仍然能够负担得起训练最大的基础模型（例如，OpenAI的GPT-3）。然而，大型科技公司在资源方面处于完全不同的水平，特别是在基础设施、用户和来自其市场地位的数据方面。基础模型的基本集中性质意味着开发它们的进入壁垒将继续上升，因此即使是初创公司，尽管他们很灵活，也会发现很难竞争，这一趋势反映在搜索引擎的发展中[Radinsky 2015]。

8、缩小资源差距的一个方法是政府投资公共基础设施。我们可以把哈勃太空望远镜和大型强子对撞机等大科学项目作为灵感来源，在这些项目中，大量的投资使原本不可能的基础科学发现成为可能。人们可以想象一个类似的计算基础设施，基础模型的学术研究将从中受益匪浅。在美国，新生的国家研究云计划是朝着这个方向迈出的一步。

9.另一种补充的方法是依赖于自发贡献的计算，数十亿个计算设备(节点)中的任何一个都可以连接到一个中央服务器并贡献计算。Folding@home项目成功地实现了这种模拟蛋白质动力学的方法[Beberg等人，2009]。最近，Learning@home项目正试图利用志愿者计算来训练基础模型[Ryabinin and Gusev 2020]。节点之间的高延迟连接和训练基础模型的高带宽要求使得这成为一个开放的技术挑战。

10.总结。有巨大的经济动机来推动基础模型的能力和规模，因此我们预计在未来几年里会有稳定的技术进步。但是，这种主要依赖于突发行为的技术是否适合广泛应用于人类尚不清楚。很明显，我们需要谨慎，现在是时候建立专业规范，使负责任的研究和部署基础模型。学术界和业界需要在以下方面合作:行业最终会就如何部署基础模型做出具体决定，但我们也应该依靠学术界，它的学科多样性和围绕知识生产和社会效益的非商业动机，为在技术和伦理上都有基础的基础模型的开发和部署提供独特的指导。