实习笔记9-In-Context Learning的可解释性-In-Context Learning Creates Task Vectors

1. 作者和机构

发表在：
EMNLP 2023

2. 遇到的问题

如何讲ICL的学习过程映射到传统的机器学习框架中

3. 结果

提出了一种全新的框架来重新审视ICL过程

输入: 查询x和单个任务向量
ICL的过程可以看作是将训练集 压缩为一个特殊的任务向量 ，然后利用该任务向量激活transformer层以生成输出

实验结果充分证明了ICL学习函数具有简单的结构

=-------------------=
个人理解：
ICL学习函数具有简单的结构
这篇文章探索ICL的内部机理

一、引言

ICL：从少量的示例集合中学习新规则，并且泛化到新的查询样本中。

soft-prompt也是通过调整大模型内部transformer的激活值来实现特定的新任务，但是本文的方法仅在ICL的前向传播过程中进行调整，而不是微调整个模型来实现。