Prefix-Tuning: Optimizing Continuous Prompts for Generation

本文提出了一种名为前缀调整的方法,用于替代传统的模型微调。该方法保持大型语言模型参数不变,仅优化一个连续的任务特定向量,类似于虚拟tokens的前缀。通过冻结Transformer的参数,只需存储每个任务的前缀,从而实现模块化并节省存储空间。此技术有助于简化多任务学习,提高效率。
摘要由CSDN通过智能技术生成

在本文中,提出了前缀调整,一种轻量级的fine-tune替代方案,它使语言模型参数保持不变,但优化了一个小的连续特定任务向量(continuous task-specific vector),一种类似于虚拟tokens的前缀

冻结transformer参数,只优化prefix(红色前缀块)。只需要为每个任务存储前缀,从而使前缀调整模块化,并且节省空间。每个垂直块都表示transformer在一个时间步上的激活情况

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值