Prompt-Tuning（单任务，每个任务需要设计一个prompt）与Instruction Tuning（多任务，经过多任务精调后，可以用于其他任务的zero-shot）

最近大火的Instruction tuning为何频频受到称赞？经过这种方式精调大模型之后，是否可以提升大模型在NLI和阅读理解的表现？

本文作者将带你揭开谷歌Quoc V.Le团队提出精调新范式Instruction tuning的面纱。

一、前言

前两天在Arxiv刷到个比较牛的论文题目：

Finetuned Language Models Are Zero-Shot Learners

是不是跟GPT-3有些像：

Language Models are Few-Shot Learners

以为是蹭热度，就没点进去，结果今天点进去仔细一看，居然出自Quoc V.Le团队：

于是我摆正心态，仔细看了之后还是发现不少东西。这个文章提出了一个Instruction tuning的概念，用这种方式精调大模型之后可以显著提升大模型在NLI和阅读理解的表现：

更重要的是！Open AI居然不谋而合，虽然没发论文࿰