模型训练基础：GPT 中的 few-shot 小样本学习

目录

纯监督学习

预训练+微调（Finetune）

In-context learning

In-context learning 原理

In-context learning 的训练

zero-shot、one-shot、few-shot 小样本学习

prompt 学习

In-context learning 的效果评价

In-context learning 的局限性

总结

---

我们在之前的章节中介绍了 ChatGPT 的模型建模、模型结构、工作机制。除此之外，恰当的模型训练方式对其最终取得的效果也至关重要。

NLP 领域模型训练策略的改变总共经历了四个阶段，这也是 GPT 模型的训练方式进化史。

ChatGPT 的模型训练方式依然汲取了大规模语言模型 （LM） 预训练，以及小样本学习的思想。因此，本节我们先来重点梳理一下前三个阶段。

纯监督学习

这种方式是最早期的 NLP 模型训练方式，也是最传统的机器学习建模方式。这种模型训练方式主要还是针对特定的 NLP 任务来完成的，诸如文本分类、实体识别、文本摘要抽取、机器翻译等。

为了说明监督学习的数据组织模式，我们准备了 3 条标注样例如下：

• 文本分类：

文本：jionlp 开发工具包确实挺好用的，非常感谢博主的分享~~~~

类别：正面

• 实体识别