![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Prompt-tuning
文章平均质量分 61
酷暑冷冰
这个作者很懒,什么都没留下…
展开
-
Improving and Simplifying Pattern Exploiting Training
这篇文章是对PET的改进。左边是PET的过程,是预测位置的token,然后经过softmax得到 logits,再用label_word处的logit计算原创 2021-10-26 13:13:23 · 319 阅读 · 0 评论 -
不要Prompt的Few-shot NER
前言基于prompt的方法本质上是为句子级别的任务设计的,很难适应于token级别的任务。因为:针对token级别的template的搜索空间变大;在少量样本上训练容易过拟合。输入端b中是提出的模型,它没有添加prompts,但他的label words却很大。如图,对于person类型,它的的label words不仅包含person,还有其他person类的实体John、Australia等等。输出端answer映射的构建有三种:Data Search对于每一个label选取概率最大的原创 2021-10-11 09:32:23 · 848 阅读 · 2 评论 -
PPT: Pre-trained Prompt Tuning for Few-shot Learning
文章目录预训练方法Sentence-Pair ClassificationMultiple-Choice ClassificationSingle-Sentence ClassficationUnifying Task Formats实验结果如题目所示,本篇的思想是Prompt也经过预训练,得到Prompt的表示,然后在固定任务的数据集上微调。预训练方法符号:PVP=<f,v>PVP=<f, v>PVP=<f,v> to denote this pattern-ve原创 2021-09-14 15:01:46 · 1280 阅读 · 0 评论 -
Prompt-Learning for Fine-Grained Entity Typing
文章目录输入端Promt定义hard-encodingsoft-encodingAnswer映射训练针对zero-shot的自监督Prompt-learning引用输入端Promt定义hard-encoding对于比较明确、简短的任务,使用人工定义。soft-encoding使用的promt如下,其中,[P]为分隔符,[P1],...,[Pl]为随机初始化的向量。从直觉上来说,经过训练以后,[P1],...,[Pl]所表示的向量与[MASK] 相近。Answer映射一个实体可能是多类别的原创 2021-09-10 19:05:41 · 921 阅读 · 0 评论 -
Prompt-tuning相关的工具
相近词查找:https://relatedwords.org/原创 2021-09-10 10:42:55 · 205 阅读 · 0 评论 -
Making Pre-trained Language Models Better Few-shot Learners
文章目录输入端自动生成PromptPrompt的拼接方式模型简称LM-BFF,better few-shot fine-tuning of language models。符号:预训练模型为L\mathcal{L}L,总数据集为$$输入端自动生成Prompt对于给定的词表中的label,利用自回归模型T5自动生成Prompt,Prompt的拼接方式...原创 2021-09-10 09:46:47 · 807 阅读 · 0 评论 -
Prompt入门
Prompt的范式大抵是两种:续写Prefix:用在GPT2-3那种单向LM预训练模型上,输入「好好学习,翻译成英文:」,输出「good good study」完形填空:用在BERT那种MLM式预训练模型上,比如情感分类任务可以输入「这个饼不错,太X了」,输出「棒」Prompt主要难在3个方面:输入端:怎么样选取合适的Prompt,适配不同任务,同时把模型潜能激发出来怎么把Prompt结合输入的句子构成模型的输入输出端:模型的输出( Answer)不可能与标签相同,拿到answer原创 2021-09-09 10:02:17 · 1406 阅读 · 0 评论 -
instruction-tuning
instruction-tuning是在Prompt-tuning之后提出的,它的思想是:在对A做Prompt-tuning之前,先在其他若干的任务之上做Prompt-tuning。如图:每个任务有多个Prompt,作者使用了10个。引用:别再Prompt了!谷歌提出tuning新方法,强力释放GPT-3潜力!...原创 2021-09-08 09:13:00 · 2674 阅读 · 0 评论