在本文中,提出了前缀调整,一种轻量级的fine-tune替代方案,它使语言模型参数保持不变,但优化了一个小的连续特定任务向量(continuous task-specific vector),一种类似于虚拟tokens的前缀
![](https://i-blog.csdnimg.cn/blog_migrate/e5fae32f906078ec04576dc42a4fe82d.png)
冻结transformer参数,只优化prefix(红色前缀块)。只需要为每个任务存储前缀,从而使前缀调整模块化,并且节省空间。每个垂直块都表示transformer在一个时间步上的激活情况
在本文中,提出了前缀调整,一种轻量级的fine-tune替代方案,它使语言模型参数保持不变,但优化了一个小的连续特定任务向量(continuous task-specific vector),一种类似于虚拟tokens的前缀
冻结transformer参数,只优化prefix(红色前缀块)。只需要为每个任务存储前缀,从而使前缀调整模块化,并且节省空间。每个垂直块都表示transformer在一个时间步上的激活情况