![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
prompt文章
文章平均质量分 87
NLP
BBBBBAAAAAi
这个作者很懒,什么都没留下…
展开
-
GPT Understands,Too
1.本文的背景 GPT之前只能做文本生成任务,不能做文本理解任务。通过提出的P-tuning方法,使用可以训练的连续提示embeddings,在NLU任务上可以达到和同等规模BERT相当的性能,甚至更好。2.本文的贡献 文章的贡献(1)在NLU任务上,使用P-tuning的GPT可以取得和BERT相当的效果。意味着GPT结构在NLU任务中的潜力被低估了。(2)P-tuning是一种通用的方法来提升BERT和GPT在小样本和全监督数据设置中的性能。并且使用P-tuni...原创 2022-04-07 18:57:46 · 1343 阅读 · 0 评论 -
The Power of Scale for Parameter-Efficient Prompt Tuning及prefix tuning与prompt tuning的区别
1.本文贡献(1)提出prompt tuning,并在大型语言模型领域展示其与model tuning(fine tuning)的竞争力;(2)减少了许多设计选择,显示质量和鲁棒性随着规模的增加而提高。(3)在域转移问题上,显示prompt tuning优于model tuning。(4)提出“prompt ensembling”,并展示其有效性。2.Prompt tuning 在GPT-3中,提示标记P={p1,p2,…,pn}的表示是模型embedding ta...原创 2022-04-04 15:09:55 · 3825 阅读 · 5 评论 -
Prefix-Tuning: Optimizing Continuous Prompts for Generation
1.本文提出了Prefix-Tuning,一种轻量级的自然语言生成任务的fine-tune替代方案,使语言模型参数保持冻结状态,但是优化了一个小的连续的特定于任务的向量(这个向量称之为前缀)。2.adapter-tuning是在预训练模型的层之间插入额外的特定于任务的层。只添加了2%-4%的任务参数。3.GPT-3的in-context learning或者prompting,即在任务输入中预先准备自然语言任务指令和一些示例,然后从LM输出。3.问题描述:(1)假设有一个基于Tra...原创 2022-04-04 15:08:17 · 2903 阅读 · 2 评论