本质上,它相当于使用训练完好的语言模型估计给定示例条件下的条件概率分布模型。
属于离散型Prompt-tuning的一个特例。
In-Context Learning 最初是在原始 GPT-3 论文中作为一种大语言模型学习任务的方式而被推广的,能够直接让语言模型根据给定的几个实例理解任务,并给出问题答案;
本质上,它相当于使用训练完好的语言模型估计给定示例条件下的条件概率分布模型。
在 In-Context Learning 里,给语言模型一个 “提示(prompt)”,该提示是一个由输入输出对组成的列表,这些输入输出对用来描述一个任务。
在提示的末尾,有一个测试输入,并让语言模型仅通过以提示为条件来预测下一个标记。
为了正确回答以下两个提示,模型需要理解 In-Context Learning 的演示示例,以确定输入分布(财经或一般新闻)、输出分布(积极 / 消极或主题)、输入 - 输出映射(情感或主题分类)以及