ChatGPT的一小步,NLP范式转变的一大步

本文探讨了大模型(如ChatGPT)的突现能力,如复杂推理、知识推理和分布外鲁棒性,指出这些能力可能仅存在于大型模型中。复杂推理在无需全部训练数据的情况下超越了小模型,知识推理展示了大模型内部知识的优势,而分布外鲁棒性表明大模型在非同分布设置下更具泛化能力。这些发现可能推动NLP研究从微调小模型转向使用大模型进行上下文学习的范式转变。
摘要由CSDN通过智能技术生成

152ec5d402620b17bd6b14e15dcb075a.png

作者:符尧,yao.fu@ed.ac.uk,爱丁堡大学 (University of Edinburgh) 博士生,本科毕业于北京大学;与Tushar Khot,彭昊在艾伦人工智能研究院 (Allen Institute for AI) 共同完成英文原稿;与李如寐(美团NLP中心)共同翻译为中文;感谢 Aristo teammates, Jingfeng Yang, 和 Yi Tay 的讨论与建议。请同时参考CoT[1]团队的博客。

在此前《ChatGPT进化的秘密》一文中,本文作者剖析了ChatGPT的技术路线图。而在ChatGPT发布前,作者详细介绍了大模型的突现能力、以及它在NLP/ML任务中的潜在优势,以此来探讨大模型所带来的“潜在的”范式转变。显然,后来ChatGPT所展现出的强大能力,将这种转变的步伐扎实地推进了一大步。


英文版原文:https://franxyao.github.io/blog.html


最近,人们对大型语言模型所展示的强大能力(例如思维链[2]、便签本[3])产生了极大的兴趣,并开展了许多工作。我们将之统称为大模型的突现能力[4],这些能力可能只存在于大型模型中,而不存在于较小的模型中,因此称为“突现”。其中许多能力都非常令人印象深刻,比如复杂推理、知识推理和分布外鲁棒性。

值得注意的是,这些能力很接近 NLP 社区几十年来一直寻求的能力,因此代表了一种潜在的研究范式转变,即从微调小模型到使用大模型进行上下文学习。对于先行者来说,范式转变可能是很显然的。然而,出于科学的严谨性,我们确实需要非常明确的理由来说明为什么人们应该转向大型语言模型,即使这些模型昂贵、难以使用,并且效果可能一般。

在本文中,我们将仔细研究这些能力是什么,大型语言模型可以提供什么,以及它们在更广泛的 NLP/ML 任务中的潜在优势是什么。

前提:我们假设读者具备以下知识:

  • 预训练、精调、提示(普通从业者应具备的自然语言处理/深度学习能力)

  • 思维链提示、便签本(普通从业者可能不太了解,但不影响阅读)

1

存在于大模型而非小模型的突现能力

b6ad419b24d1f9dbdb64179ce490df27.png

图片来自于 Wei. et. al. 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。X轴为模型尺寸。GSM8K是一个小学水平的数学问题集。

在以上的效果图中,我们可以观察到模型的表现:

  • 当尺寸相对小的时候提升并不大

  • 当模型变大时有很明显的提升

这从根本上说明,某些能力可能不存在于小模型中,而是在大模型中获得的。

有很多种突现能力,比如 Wei 等人在 2022年[5]所梳理的。有些能力很有意思,但我们在本文不会讨论,比如last latter concatenation,我们认为这是Python而不是语言模型要做的任务;或者3位数加法,我们认为这是计算器而不是语言模型要做的事。

在本文中,我们主要对以下能力感兴趣:

1. NLP 社区近几年都关注但还没实现的能力

2. 之前的 NLP 模型很难达到的能力

3. 源自于人类语言最深层的本质的能力

4. 可能达到人类智力的最高水平的能力

2

突现能力的三个典型例子

很多有意思的能力都可以归到上文提到的类别里,在它们之中,我们主要讨论以下三种典型能力:

  1. 复杂推理

  2. 知识推理

  3. 分布外鲁棒性

接下来让我们一个个详细讨论。

复杂推理

下面是一个GSM8K数据集中,用提示词显著超过精调的例子:

9ddac68d54e5b3cb26efb2d249c2a542.png

虽然这道题对于10岁的孩子来说很容易,但对语言模型来说却很难,主要是由于数学和语言混合在一起。

GSM8K 最初由 OpenAI 于 2021 年 10 月[6]提出。当时他们用第一版GPT3在全部训练集上进行了精调,准确率约为 35%这个结果让作者相当悲观,因为他们的结果显示了语言模型的缩放规律:随着模型大小呈指数增长,性能呈线性增长(我之后会讨论)。因此,他们在第 4.1 节中思考:

175B 模型似乎需要至少额外两个数量级的训练数据才能达到 80% 的求解率。“

三个月后,即 2022 年 1 月,Wei 等人[7]基于 540B PaLM 模型,仅使用了8个思维链提示示例便将准确率提高到56.6%(无需将训练集增加两个数量级)。之后在 2022 年 3 月,Wang 等人[8]基于相同的 540B PaLM 模型,通过多数投票的方法将准确率提高到 74.4% 。当前的 SOTA 来自我自己在 AI2 的工作(Fu et. al. Nov 2022[9]),我们通过使用复杂的思维链在 175B Codex 上实现了 82.9% 的准确率。从以上进展可以看到,技术进步确实呈指数级增长。

思维链提示是一个展示模型随着规模突现出能力的典型例子:

  • 从突现能力来看:尽管不需要 17500B,但模型大小确实要大于 100B ,才能使思维链的效果大于的仅有回答提示。所以这种能力只存在于大型模型中。

    <
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值