instruction-tuning

instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图：

每个任务有多个Prompt，作者使用了10个。
比较注意的是，instruction-tuning的prompt-tunning方法不能是生成式的应该是指令式的。
生成式：

指令式：

因为生成式比较难，而且生成式的prompt-tunning只适用于本任务，没有迁移能力。

引用：
别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！
Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！