Prompt
文章平均质量分 93
Prompt+小样本调研
vector<>
这个作者很懒,什么都没留下…
展开
-
【踩坑记录】OpenPrompt工具包如何使用?
家人们,泪目啊!整整弄了好几个小时,终于是跑起来了,跑起来了啊家人们,一起看看我踩过了哪些坑吧。目录安装运行小democannot import name 'load_dataset'下载数据集demo详解OpemPromt是一个专门针对第四范式开发的工具,读者可以通过下面的参考资料和文献详细了解这个工具,本篇文章仅重点记录如何使用这个工具。链接:https://github.com/thunlp/OpenPrompt论文https://arxiv.org/abs/2111.01998官方.原创 2021-12-06 21:43:52 · 7772 阅读 · 20 评论 -
【调研】Soft Prompt Tuning 模型发展调研:P-tuning,Prefix-tuning,Prompt-tuning,P-tuning v2,PPT
在这篇博客中我将分享soft prompt发展中比较有影响力的五个模型,总结soft prompt的发展过程。目录????Soft prompt VS Hard Prompthard prompt -> hard promptfine-tuning -> prompt tuning????模型一:2021.03:P-tuning动机模型优化步骤关键点实验????模型二:2021.08:Prefix-Tuning????模型三:2021.09:Prompt-Tuning????模型四:2021.原创 2022-02-15 21:58:55 · 3398 阅读 · 6 评论 -
【prompt】什么是 Soft Prompt 和 Hard Prompt ?
读论文的过程中看到soft prompt的概念,不是很能理解,后来复习了一下prompt综述,原来在那篇论文中讲得很清楚,在这篇博客中做一下整理。参考:https://arxiv.org/pdf/2107.13586.pdf总结:hard prompt 又称为 Discrete Promptsoft prompt 又称为 Continuous Prompts模板的制作分为手工创建模板和自动化生成模板,而自动化生成模板又分为离散提示(又叫做硬提示)和连续提示(又叫做软提示)Discrete.原创 2022-01-23 15:00:04 · 9529 阅读 · 1 评论 -
【调研】基于Prompt的小样本文本分类调研:PET,LM-BFF,KPT,PTR
本篇博客一共要分享四篇prompt论文,它们分别提出了四个模型。在此之前,会先来回顾一下prompt第四范式的一些基础知识。这里写目录标题????Prompt 回顾预测步骤研究重点????模型一:PET:Pattern-Exploiting Training动机PVPPVP组合模型iPET实验????模型二:LM-BFF:Better Few-shot Fine-tuning动机Lable Word生成Prompt生成in-context实验????模型三:KPT:Knowledgeable Prompt原创 2022-02-15 20:39:13 · 2601 阅读 · 4 评论 -
【一起入门NLP】中科院自然语言处理第16课-简明扼要:红到发紫的prompt是什么?【上】
前几天自然语言处理课学到了“预训练语言模型”这一章,在最后老师介绍了今年刚刚提出来的Prompt,并强调:这东西现在很火????,想发论文的赶紧行动。由于和我的研究方向相关,因此打算对Prompt做一个系统的调研。我们现在开始吧!目录从四大范式到Prompt第一范式:特征工程第二范式:架构工程第三范式:目标工程第四范式:Prompt挖掘工程为什么说Prompt适用于小样本学习甚至零样本学习?从四大范式到Prompt 在NLP的发展过程中,经历了4大范式,这里的范式不禁让人想起数据库中学到范式原创 2021-12-06 10:10:56 · 2923 阅读 · 3 评论 -
【一起入门NLP】中科院自然语言处理第17课-详细介绍:红到发紫的Prompt是什么?【下】
在简明扼要:红到发紫的prompt是什么?中笔者从四大范式的发展入手简单介绍了Prompt的思想,并在OpenPrompt工具包如何使用?–【踩坑记录】中记录了使用OpenPrompt的细节,这篇文章笔者想要介绍一些Prompt的细节~目录下游任务重构二分类多分类匹配任务下游任务重构在上一篇博客中我们介绍到,Prompt的思想是重构下游任务,将其输入输出形式改造成为预训练模型的形式,并且举了一个情感二分类的例子,那么除此之外还有哪些任务可以重构呢?接下来我们再举几个小例子以加深理解。二分类多.原创 2021-12-09 20:33:09 · 1950 阅读 · 2 评论 -
【论文分享】KPT:Knowledgeable Prompt-tuning:Incorporating Knowledge into Prompt Verbalizer for Text Classi
论文链接:https://arxiv.org/pdf/2001.07676.pdf时间:2021年8月特点:改善答案映射,使用手工模板目录背景模型Verbalizer ConstructionVerbalizer RefinementVerbalizer Utilization实验背景手工制作的一对一的答案映射器verbalizer限制了标签词的覆盖范围,导致预测结果不够准确比如:模板【The speed of light is greater than that of sound,it.原创 2022-01-26 10:40:41 · 2317 阅读 · 0 评论 -
【论文分享】PET:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文链接:https://arxiv.org/pdf/2001.07676.pdf源码:https @TOC背景在小样本场景下传统监督学习效果很差,于是提出了模型PET(Pattern-Exploiting Training)它是一种半监督训练过程,它使用自然语言模式将输入的示例重新组织成完形风格的短语。符号定义:有标注小样本数据集:T无标注大型数据集:D语言模型:M词表:V掩码标记:___分类任务:A标签:L输入:短语序列 x = (s1, . . . , sk).原创 2022-01-25 11:22:29 · 3280 阅读 · 2 评论