超级会员免费看
In-Context Learning 是一种利用训练好的语言模型，通过几个示例来理解和执行任务的方法，无需参数调整。它在GPT-3论文中被提出，通过给模型提供输入输出对的提示，让模型预测下一个标记。与Prompt和Few-Shot Learning不同，ICL不需要参数更新，而是依赖于现有模型的能力。这种学习范式正成为评估大型语言模型能力的新方式。
本质上，它相当于使用训练完好的语言模型估计给定示例条件下的条件概率分布模型。
属于离散型Prompt-tuning的一个特例。
In-Context Learning 最初是在原始 GPT-3 论文中作为一种大语言模型学习任务的方式而被推广的，能够直接让语言模型根据给定的几个实例理解任务，并给出问题答案；
本质上，它相当于使用训练完好的语言模型估计给定示例条件下的条件概率分布模型。
在 In-Context Learning 里，给语言模型一个 “提示（prompt）”，该提示是一个由输入输出对组成的列表，这些输入输出对用来描述一个任务。
在提示的末尾，有一个测试输入，并让语言模型仅通过以提示为条件来预测下一个标记。
为了正确回答以下两个提示，模型需要理解 In-Context Learning 的演示示例，以确定输入分布（财经或一般新闻）、输出分布（积极 / 消极或主题）、输入 - 输出映射（情感或主题分类）以及
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
