Instruction-Tuning 与 Prompt-Tuning

Prompt Tuning 的核心是让下游任务区迎合强大的语言模型，及时没进行微调，也会有一定 的效果。

Instruction Tuning 的核心是通过多任务 Instruction 微调，使模型对没有见过的任务具有 zero-shot 能力。Instruction Tuning 必须构建 Instruction 数据集对模型进行微调，让模型知 道这种指令模式。

Instruction Tuning 和 Prompt Tuning 的核心一样，就是去发掘语言模型本身具备的知识。

Prompt Tuning 是去激发语言模型的补全能力，比如给出上半句生成下半句、或者做完形填 空，都还是像在做 language model 任务。

Instruction Tuning 是激发语言模型的理解能力，通过给出更明显的指令/指示，让模型去理 解并做出正确的 action。