P-tuning的论文大白话阅读笔记和代码实现

最新推荐文章于 2025-03-12 16:15:21 发布
最新推荐文章于 2025-03-12 16:15:21 发布
阅读量1.8k 收藏 8
点赞数 1
分类专栏： NLP 机器学习 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37477357/article/details/125054211
版权

目录

论文阅读笔记

Motivation

  1. 新兴的 GPT-3 及其在使用手工prompt模板在few-shot和zero-shot学习方面的成功表明，使用prompt learning的方案可以使大规模自回归预训练模型适用于自然语言理解；
  2. 过去的prompt learning方案过度依赖手工设计，针对一些较复杂任务不好设计，且人力成本高，让模型自己学习模板能够在效率和准确性两个维度上给这个任务带来提升。

Method

Architecture

P-tuning模型学习的目标是得到能最大化提示预训练模型根据给定输入 x x x预测标签 y y y的前缀模板 { p 1 , . . . , p m } \{p_1,...,p_m\} { p1​,...,pm​}。
在这里插入图片描述
为此，模型首先构造这个前缀模板，论文中将输入x插入前缀模板内部，得到 { p 1 , . . . , p i , x , p i + 1 , . . . p m } \{p_1,...,p_i,x,p_{i+1},...p_m\} { p1​,...,pi​,x,pi+1​,...pm​}。我认为可以根据需要组合提示模板，输入和输出的位置（注：根据苏剑林大佬的试验前缀效果最优 [ 2 ] ^{[2]} [2]）。

而后通过embedding层和预训练模型映射得到隐向量：
e ( [ P 0 : i ] ) , e ( x ) , e ( [ P i +

最低0.47元/天 解锁文章
[论文笔记]P-tuning v2
日积月累，天道酬勤
09-22 1033
⭐ 作者提出了P-tuning v2，一种针对提示微调的改进方法。充分挖掘了提示微调的潜力，将连续提示应用于预训练模型的每一层，而不仅仅是输入层(类似prefix-tuning)。在不同模型规模和任务上都达到了和全量微调媲美的结果。
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
weixin_43646592的博客
07-31 2451
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
P-tuning:一种新的方法来调整语言模型。 纸的代码和数据集``GPT也能理解''
03-25
P-调整 一种新的方法来调整语言模型。 代码和数据集纸``GPT了解到，太“”。
P-tuning论文概述
qq128252的博客
12-05 1082
近年来，预训练语言模型取得了巨大成功，不仅能够学习上下文表示，还能够掌握语法、句法等知识。根据训练目标，语言模型主要分为三类：单向语言模型（如GPT）常用于自然语言生成，双向语言模型（如Bert）则广泛应用于自然语言理解，而混合语言模型（如XLNet）则综合了两者。传统观念认为，像GPT这样的单向语言模型不适用于自然语言理解任务，但是GPT-3在手工prompt的情况下展现出惊人的性能，特别是在少样本和零样本情境下。这证明了在适当的prompt下，超大规模的单向语言模型在自然语言理解任务上同样表现出色。
【大模型开发】开源大模型微调： P-Tuning（Prompt-Tuning）技术
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-12 1125
P-Tuning（Prompt-Tuning）为大模型的微调提供了一种非常高效灵活的思路——只需在输入序列或中间层插入少量可学习向量并进行训练，即可让大模型针对特定任务实现较好的效果，而不需要动辄数十亿参数的全量微调。在上面给出的示例中，我们通过 HuggingFace Transformers 展示了一个简化版本的 P-Tuning，对于有更高要求的场景可以在此基础上做许多改进和扩展，如 Deep P-Tuning、多层插入 Prompt Embeddings、结合 LoRA / Adapter、调参等。
P-tuning V2论文和代码实现详解
Rover的博客
05-27 3848
论文题目：P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks网上已经有很多关于论文理论的介绍了，这里只简单提一提。P-tuning V2不是一个新东西，它是Deep Prompt Tuning (;)的一个优化和适应实现。与深度提示调整类似，P-tuning v2被设计用于生成和知识探索，但最重要的改进之一是将连续提示应用于预训练模型的每个层，而不仅仅是输入层。
P-Tuning : GPT Understands,Too 论文笔记
Hanze的博客
04-07 1368
然而GPT-3的横空出世，通过prompt的形式在当时摘下了许多任务的sota，但是找到一个好的prompt犹如大海捞针，甚至还可能会导致性能下降，作者任务离散的prompt可能不是最好的结果。在这篇文章中，作者提出了一种新的方法：P- tuning，一种自动寻找最优的prompt的方法，它可以弥补GPT在NLU任务的差距。其中hi为可训练的tensor，然后通过特定的下游数据，冻结LLM参数，只训练hi，然后就得到了在特定任务下的最优的prompt，实验也证明了要比离散的prompt效果要好。
[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task
qq_40887371的博客
03-30 1852
#[论文学习]P-Tuning V2 P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks P-Tuning v2一种在不同规模和任务中都可与微调相媲美的Prompt-Tuning方法,但并不是一个全新的方法，将文本生成的Prefix-Tuning优化并适应到NLU任务中,成为一个跨规模和NLU任务的 动机 模型通用性:以前关于Prompt-Tuning的工作(或者说
大模型微调---P-tuning微调
niulinbiao的博客
12-19 1481
P-Tuning和是两个相似但有细微区别的概念，它们都属于在预训练语言模型上使用提示（prompt）来提升模型在特定任务上的表现的技术。P-TuningP-Tuning是一种特定的提示微调方法，最早由提出的。它特别强调通过优化可学习的提示向量，来引导预训练模型在特定任务上的表现。P-Tuning的关键思想是在输入中插入一些新的、可训练的提示嵌入（embedding），并通过这些嵌入调整模型的输出，而不需要微调模型的全部权重。是一个更广泛的术语，指的是任何通过调整输入提示来优化预训练模型的方法。
大模型微调原理与代码实战案例（二）：P-Tuning
2301_78285120的博客
09-05 2468
本文对 P-Tuning 的基本原理进行了简述；同时，讲解了使用 P-Tuning 微调技术进行模型训练及推理。下文将对 Prefix Tuning / P-Tuning v2 技术进行实战讲解。技术交流群完整版代码在公众号：机器学习社区，回复：tuning，即可获取。建了实战技术交流群！mlc2060。研究方向 +学校/公司+知乎，即可。然后就可以拉你进群了。
P-Tuning v2论文概述
qq128252的博客
12-03 1468
微调（fine-tuning）是一种在预训练模型基础上进行目标任务调整的方法，它会更新整个模型参数集。虽然微调能获得良好的性能，但由于训练过程中需要存储所有参数的梯度和优化器状态，因此耗费内存。此外，由于预训练模型通常较大，在推理过程中为每个任务保留一份模型参数副本非常不方便。提示调优仅使用冻结的语言模型调整连续提示，大大减少了训练时每个任务的存储和内存使用。然而，在 NLU 的背景下，先前的工作表明，对于正常大小的预训练模型，提示调优表现不佳。
P-tuning:P-turning方法在中文上的简单实验
04-06
P-tuning P-tuning方法在中文上的简单实验。 方法 依赖 bert4keras 0.10.4 交流 QQ交流群：808623966，微信群请加机器人微信号spaces_ac_cn
p-tuning算法介绍及其简化版pytorch代码实现
STAR GAME
07-05 697
【代码】p-tuning的pytorch实现。
【论文速读】P-Tuning：GPT Understands, Too
weixin_43457608的博客
10-14 1293
用自然语言模式Prompting（提示）预先训练的语言模型已被证明对自然语言理解（NLU）是有效的。然而，我们的初步研究表明，手动离散prompts（提示）往往会导致性能不稳定——例如，在提示中改变一个单词可能会导致性能的显著下降。我们提出了一种新的P-Tuning微调方法，该方法采用了可训练的连续prompt（提示）embeddings与离散prompts连接。
论文解读：P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks
夏栀的博客
10-17 7155
论文解读：P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks   P-tuning等方法的提出，避免了人工构建离散的template，而让模型可以自动学习continuous embedding，然而P-tuning在一些复杂的自然语言理解（Natural Langauge Understanding， NLU）任务上效果很差。因此本文基于P-tuning和Prefix-
【论文】P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
weixin_50862344的博客
11-16 344
模型参数较少时，远不如微调有效性可能只能局限在一些特定的任务中。
论文解读：P-Tuning v2: Prompt Tuning Can BeComparable to Fine-tuning Universally Across Scales and Tasks
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-05 1549
提示调优只使用冻结的语言模型来调优连续的提示，这大大减少了每次任务的存储和训练时的内存使用。然而，在NLU的背景下，先前的工作表明，对于正常大小的预训练模型，即时调优并不能很好地执行。还发现，现有的提示调优方法无法处理硬序列标记任务，这表明缺乏通用性。论文提出了一个新的经验发现，即适当优化的prompt tuning可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配，同时只有0.1%-3%的微调参数。
【论文速读】P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales andTasks
weixin_43457608的博客
10-14 663
提示调优），即只使用冻结的语言模型来调优连续的提示，它大大减少了训练中每个任务的存储和内存使用。然而，在NLU的背景下，先前的工作表明，提示调优对于正常大小的预训练模型表现不佳。我们还发现，现有的提示调优方法不能处理硬序列标记任务，这表明缺乏通用性。我们提出了一个新的经验发现，即适当优化的提示调优可以在广泛的模型尺度和NLU任务中普遍有效。它与微调的性能相匹配，而只有0.1%-3%的调整参数。
[论文笔记]P-tuning
日积月累，天道酬勤
09-22 591
⭐ 本篇工作作者提出了P-tuning，使GPT在NLU上表现比传统的全量微调的GPT更好的效果。证明了语言模型在预训练期间能够有效地捕捉更多世界知识和先前任务知识。
特别详细的介绍一下P-tuning v2 以及P-tuning的流程和输入输出
06-09
P-tuning v2 是一个基于 GPT-2 的预训练模型微调框架，旨在通过少量的样本数据和领域信息，快速生成高质量的领域特定语言模型。 P-tuning 的流程如下： 1. 收集领域特定的少量样本数据，并进行数据预处理。 2. 根据领域信息，选择合适的 GPT-2 模型作为基础模型。 3. 对基础模型进行微调，得到领域特定的语言模型。 4. 对微调后的模型进行评估，并进行必要的优化和调整。 5. 将微调后的模型用于生成领域特定的文本。 P-tuning 的输入包括： 1. 领域特定的少量样本数据 2. 领域信息 3. GPT-2 基础模型 P-tuning 的输出包括： 1. 领域特定的语言模型 2. 生成的领域特定文本 需要注意的是，P-tuning 采用的是有监督的微调方式，需要满足一定的样本数量和质量要求。同时，优秀的领域信息和基础模型的选择也对模型的性能有很大影响。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值