NLP预训练模型-GPT-3

一、背景知识

In-context learning (上下文学习) 一种新的范式，在不进行参数更新的情况下，只在输入中加入示例就能让模型进行学习。给定几个任务示例和一个任务说明，模型通过理解任务本身对任务中的实例进行补全。

Few-shot： 允许输入任务说明和几个示例，要求模型预测给出的实例的正确输出

任务说明：把英语翻译成中文。例子1：one->一。例子2：two->二。问题：three->

One-shot ：除了任务说明外，只给出一个示例

Zero-shot ：除了任务说明外，不额外给出示例

Meta-learning ：自主学习

二、Motivation

2.1 背景

Pre-train+fine-tune的范式有两个缺陷，一是对下游任务的fine-tune依赖大量的有标注数据，而获取这些数据的成本很高；二是对下游任务的fine-tune会导致对领域数据分布的过度拟合，降低大模型的泛化能力。并且，人类不需要大量的监督数据集就可以学习大多数语言任务。因此GPT认为fine