Prompt-Tuning的鼻祖--PET

原创 已于 2022-11-11 19:50:07 修改 · 2.6k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #nlp

于 2022-11-11 19:49:01 首次发布
这篇文章介绍了PET（Pattern-ExploitingTraining）这一半监督学习技术，它利用BERT的预训练知识进行少量样本的文本分类。PET通过构造完形填空问题，将预训练模型参数有效利用，尤其在资源匮乏的NLP场景中提升效果。方法包括Pattern-Verbalizer-Pair、知识蒸馏和iPET迭代，显著扩大了有标注数据的应用范围。

PET（Pattern-Exploiting Training）出自《Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference》（EACL2021），是一种半监督的训练方法。

在这里插入图片描述

目标

​ 由于大量的language、domain和task以及人工标注数据的成本，在NLP的实际使用中，通常只有少量带标签的示例，所以few-shot是值得研究的部分；如果依然使用传统的监督学习方法，容易过拟合，效果会非常差，因为当仅有很少的样本时，仅有的文本无法让模型知道要具体如何进行分类

​ 在本文中，作者提出了Pattern-Exploiting Training（PET），一种半监督的训练方法，将一句完整的输入样本构造成完形填空的语句后再进行输入预处理模型。

先前的预训练模型

​ BERT的预训练其中一个任务是MLM，就是去预测被【MASK】掉的token，采用的是拿bert的最后一个encoder（base版本，就是第12层的encoder的输出，也即下图左图蓝色框）作为输入，然后接全连接层，做一个全词表的softmax分类（这部分就是左图的红色框）。但在fine tuning的时候，我们是把MLM任务的全连接层抛弃掉，在最后一层encoder后接新的初始化层来做具体的下游任务。
在这里插入图片描述

能不能通过某些巧妙的设计，把MLM层学习到的参数也利用上？

举例：

输入一条汽车论坛的评论，输出这个评论是属于【积极】or【消极】每个类别如果只有10个labeled数据，1K条unlabeled数据。

现在通过改造输入，如下图，
在这里插入图片描述
model对下划线__部分进行预测。BERT预训练时MLM任务是预测整个词表，而这里把词表限定在{好，差}，cross entropy交叉熵损失训练模型。预测时，假如预测出好，即这个样例预测label就为积极，预测为差，这个样例就是消极。

「BERT预训练时的MLM层的参数能利用上」。而且「即使model没有进行fine tunning，这个model其实就会含有一定的准确率

参数说明

Pattern-Verbalizer-Pair

最低0.47元/天 解锁文章
Pricelesse
关注
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 8万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
weixin_43646592的博客
07-31 2667
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
预训练范式提示学习方法一览（PET， Prefix-tuning，P-tuning，prompt tuning， PPT，SPoT， Prompt-tuning鲁棒性研究）
weixin_36378508的博客
02-07 2786
prompt 训练
ppet配合live2d实现DIY桌宠-可爱的猫（支持Linux，windows，mac）
weixin_37771454的博客
08-07 5468
看到某博客中的js猫还会跟随鼠标动 衍生偷猫想法，正好这几天在帮女朋友找桌宠 ps:利用PPET对接live2d做DIY桌宠 这是偶然看到的某博客的猫 于是看了下该博客的源代码，顺腾摸瓜找到了这个 这是看板娘的Github地址，于是一顿搜索看板娘 猫 卓宠 发现可以用qt对接live2d做一个基于web的桌宠 原理很简单，就是用WebView打开Live2D的页面，固定page所在的位置以及大小，然后将WebView的页面设置为透明，再固定到屏幕右下角 用到的 PPET1..
大模型-Bert+PET实战
liuhe2296044的博客
07-14 687
背景：预训练语言模型（比如BERT）知识全面，但是没有针对下游任务做针对训练，所以效果一般，所以需要根据任务做微调。核心思想：根据先验知识人工定义模版，将目标分类任务转换为与MLM一致的完形填空，然后再去微调MLM任务参数。项目介绍：一般情况，。
大模型微调实践——Prompt tuning、PET、Prefix tuning、P-tuning的原理、区别与代码解析(一)
人工智能讲师分享前沿技术
04-18 982
同样，不同的任务有其相应的label word，但需要注意的是，Verbalizer的构建需要取决于对应的Pattern。因此，如何构建Verbalizer是另一个研究挑战。我们需要构建预测Token的候选空间，并且建立Token到实际类别的映射，这在原论文中称为Verbalizer，比如情感分类的例子，我们的候选空间是 {很,不} ，映射关系是 很→正面，不→负面，候选空间与实际类别之间不一定是一一映射，比如我们还可以加入“挺”、“太”、“难”字，并且认为{很,挺,太}→正面以及{不,难}→负面，等等。
PET prompt pattern expoliting traning
weixin_41318625的博客
02-17 229
https://zhuanlan.zhihu.com/p/462469487
大模型高效参数微调技术（Prompt-Tuning、Prefix Tuning、P-Tuning、LoRA...）
酒酿小圆子呀～
07-13 2576
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning是一种新兴的微调方法，它针对预训练语言模型（LLM）进行优化，以适应各种自然语言处理（NLP）任务。这一技术在人工智能生成内容（AIGC）时代尤其受到关注，因为超大规模模型如GPT-3等正逐渐成为对话式...
解密Prompt系列2. 冻结Prompt微调LM： T5 & PET & LM-BFF
Gefangenes的博客
07-04 310
这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。在小样本场景，固定prompt微调LM对比常规微调的优点，在分类任务上比较直观我能想到的有三点(在下面PET中会细说）
【调研】基于Prompt的小样本文本分类调研：PET,LM-BFF,KPT,PTR
vector的博客
02-15 2885
本篇博客一共要分享四篇prompt论文，它们分别提出了四个模型。在此之前，会先来回顾一下prompt第四范式的一些基础知识。 这里写目录标题????Prompt 回顾预测步骤研究重点????模型一：PET：Pattern-Exploiting Training动机PVPPVP组合模型iPET实验????模型二：LM-BFF：Better Few-shot Fine-tuning动机Lable Word生成Prompt生成in-context实验????模型三：KPT：Knowledgeable Prompt
大模型微调实践——Prompt tuning、PET、Prefix tuning、P-tuning的原理、区别与代码解析(二)
人工智能讲师分享前沿技术
04-18 869
类PtuningEmbedding中，变量经过stop_gradient算子后，在反向传播的时候梯度为0，但是前向传播不变，因此在上述代码中，前向传播的结果不会有变化，但是反向传播求梯度的时候，梯度不为0的token由mask变量控制，其余token的梯度都为零。这样做的理由是：因为我们的MLM/LM都是经过自然语言预训练的，那么能够很好完成重构的序列必然也是接近于自然语言的，因此这样增加训练目标，也能起到让模型更贴近自然语言的效果，相比单纯优化下游任务的目标，确实提升了效果。
【NLP】【Prompt Tuning】PET （Pattern-Exploiting Training）方法介绍
qq_40240364的博客
08-16 758
随着GPT3的出现，通过一些具有自然语言“任务描述”的预训练语言模型，可以以完全无监督的方式解决一些NLP任务。PET是一种半监督的训练方式，它首先将转化为的形式以帮助模型理解给出的任务，之后利用这些phrases为一个更大的未标注的数据集分配，最后在该数据集上执行有监督训练。PET是一种半监督式训练程序，将任务描述与标准的监督学习相结合它使用自然语言pattern将转化为。针对每种pattern，在一个小的训练集TT上对一个单独的PLM进行微调。使用所有PLM模型的集合为一个大的未标注数据集DD。
论文笔记：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
qq_43183860的博客
10-11 2845
1. 介绍 论文提出了Pattern-Exploiting Training (PET)，将小样本场景下的监督学习和提供任务描述相结合，把具体任务转换成了完形填空任务。具体框架如下： （1）为输入示例创建多个patterns，以将输入示例转换为完形填空题；对不同pattern的输入，分别使用预训练模型进行微调。 （2）将上述得到的所有模型进行融合，对未标注数据进行标注。 （3）在得到的软标签数据集上训练分类器。 ...
【论文分享】PET：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
vector的博客
01-25 3489
论文链接：https://arxiv.org/pdf/2001.07676.pdf 源码：https @TOC 背景 在小样本场景下传统监督学习效果很差，于是提出了模型PET（Pattern-Exploiting Training）它是一种半监督训练过程，它使用自然语言模式将输入的示例重新组织成完形风格的短语。 符号定义： 有标注小样本数据集：T 无标注大型数据集：D 语言模型：M 词表：V 掩码标记：___ 分类任务：A 标签：L 输入：短语序列 x = (s1, . . . , sk) .
探索模式挖掘的训练技术：Pattern-Exploiting Training
gitblog_00026的博客
06-09 483
探索模式挖掘的训练技术：Pattern-Exploiting Training 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的AI时代，我们不断寻求提高模型性能的新方法。其中，Pattern-Exploiting Training是一个引人入胜的开源项目，它在中文文本处理任务上展现出了强大的潜力。该项目旨在利用模式识别来提升模型的学习效率和预测准确性，尤其适用于...
pattern-exploiting training (PET)--Few-Shot Learners
zephyr_wang的博客
01-23 1051
1 简介 本文根据2021年《It’s Not Just Size That Matters：Small Language Models Are Also Few-Shot Learners》翻译总结的。 GPT-3有1750亿的参数，它拥有惊人的小样本学习（few-shot）能力。 而本文主要讲另一种方式，pattern-exploiting training (PET)，模式开发训练。是将文本输入转化成完形填空（cloze）问题。所需参数很少。 同时本文提出了PET的一个简单有效的修改版，支持预测多个t
大模型Prompt-Tuning技术入门（二）
瓦罗兰特顶级C位的博客
06-25 1166
Prompt-Tuning是一种在大型语言模型中进行下游任务适配的技术，起源于GPT-3的In-context Learning和Demonstration Learning。它通过构建Prompt（提示）和Verbalizer（标签映射）来转换任务，比如将分类任务转化为填空问题。PET模型是Prompt-Tuning的早期实践，通过固定模板（Pattern）和标签词（Verbalizer）来实现。
Pattern-Exploiting Training MLM任务用于文本匹配【代码解读】
hxshine的博客
04-20 1582
一、总结 • 原文： # PET-文本分类的又一种妙解:https://xv44586.github.io/2020/10/25/pet/ # ccf问答匹配比赛（下）：如何只用“bert”夺冠:https://xv44586.github.io/2021/01/20/ccf-qa-2/ 三、代码注释 原始链接：https://github.com/xv44586/ccf_2020_qa_match # -*- coding: utf-8 -*- # @Date : 2020/11/4 # @Au
prompt-tuning和p-tuning
最新发布
03-13
### Prompt-Tuning 和 P-Tuning 的区别 #### 实现方式 Prompt-Tuning 主要通过固定预训练模型参数的方式，在输入端引入可学习的连续向量表示作为提示 (soft prompts)，这些提示被嵌入到原始输入序列中[^3]。相比之下，P-Tuning 则进一步扩展了这一思路，不仅使用软提示 (soft prompts)，还额外引入了一个基于 LSTM 或 MLP 的编码器模块来优化提示的质量和表达能力[^4]。 #### 参数更新范围 在 Prompt-Tuning 中，仅需调整少量新加入的提示向量参数，而无需修改原生大语言模型中的任何权重[^1]。这种策略显著降低了计算成本并提高了效率。然而对于 P-Tuning 而言，除了上述提到的 soft prompts 外还需要训练其内部所含有的复杂神经网络组件(即LSTM/MLP)，因此涉及到了更多的可变参数。 #### 训练难度与资源消耗对比 由于 P-Tuning 需要同时处理更多类型的变量并且依赖于更复杂的架构设计，所以在实际操作过程中可能会面临更高的技术挑战以及更大的硬件需求。与此同时,Prompt-Tuning凭借简单明了的设计理念及其较低的学习曲线成为了一种更为轻便的选择方案之一[^2]。 #### 应用场景分析 当目标领域数据规模较小或者希望快速部署解决方案时，可以优先考虑采用相对简单的 Prompt-Tuning 方法来进行任务定制化改造工作；而对于那些追求极致性能表现且具备充足算力支持条件下的项目，则可能更适合选用功能强大但配置较为繁琐一些的 P-Tuning 技术路线去达成预期成果。 ```python # 示例代码展示如何定义一个基本的 Soft Prompts 结构用于 Prompt Tuning import torch.nn as nn class SimpleSoftPrompts(nn.Module): def __init__(self, num_tokens=10, embedding_dim=768): super(SimpleSoftPrompts, self).__init__() self.soft_prompts = nn.Parameter(torch.randn(num_tokens, embedding_dim)) def forward(self): return self.soft_prompts # 对应地，如果我们要构建一个带有LSTM增强版的Soft Prompts（类似于P-Tuning），则如下所示： import torch class AdvancedSoftPromptsWithLSTM(nn.Module): def __init__(self,...): # 省略部分初始化逻辑... ... ... # 进一步实现细节省略... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值