LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2

已于 2023-08-01 10:38:35 修改
阅读量1.7k 收藏 1
点赞数 1
分类专栏： # LLM微调 算法岗面试 文章标签： 大模型 llm 微调 自然语言处理 人工智能 深度学习
于 2023-07-31 16:58:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43646592/article/details/131833711
版权
算法岗面试 同时被 2 个专栏收录
55 篇文章 5 订阅 ¥69.90 ¥299.90
订阅专栏
LLM微调
4 篇文章 0 订阅
订阅专栏

🔥 下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的，不对效果进行评价，毕竟不同任务不同数据集效果差别还是挺大的。

文章目录

0、hard prompt & soft prompt区别

  • hard prompt (离散)：即人类写的自然语言式的prompt。
  • soft prompt (连续)：可训练的权重，可以理解为伪prompt。【毕竟nn是连续的模型，在连续空间中优化离散的prompt， 难以优化到最佳效果。额也就是说所谓的hard prompt对于人类来说好理解，但模型不一定好理解，
了解本专栏 订阅专栏 解锁全文
#苦行僧
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
微调fine-tuning.pdf
06-14
微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
HuggingFace学习笔记--Prompt-Tuning、P-Tuning和Prefix-Tuning高效微调
牵一只蜗牛去散步
12-03 2307
Soft prompt 通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；P-Tuning 是在 Prompt-Tuning的基础上，通过新增 LSTM 或 MLP 编码模块来加速模型的收敛；Prompt-Tuning 高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；1-1--Prompt-Tuning介绍。3-1--Prefix-Tuning介绍。2-1--P-Tuning介绍。
【模型微调】| 各类微调模型总结 P-Tuning，Prefix，P-tuning v2，LoRA
专注于人工智能的算法与应用
02-01 1788
微调大模型方法最全综述各种各样的微调模型在最近两三年很火爆，想要去讲明白这些方法并不容易~但是我还是想尝试一下，尽可能将这些微调模型以一个清晰的架构呈现出来。
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
热门推荐
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
解密Prompt系列3. 冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning
Gefangenes的博客
07-04 352
这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prompt作为探针能否引导出预训练模型在下游任务上的特定能力。固定LM微调Prompt的范式有以下几个优点。
【LLM微调范式1】Prefix-Tuning: Optimizing Continuous Prompts for Generation
stay hungry, stay foolish.
10-15 1629
在本文中，我们提出了前缀调优（prefix-tuning）技术，这是自然语言生成任务中微调技术的轻量级替代方案，它可以冻结语言模型参数，但会优化一个小的连续任务特定向量（称为前缀）。
【NLP经典论文精读】Prefix-Tuning: Optimizing Continuous Prompts for Generation
HERODING23的博客
07-18 1015
LLM参数有效性学习的三驾马车之一（另外两个分别是LoRA和Adapter），来自ACL 2021的prefix-tuning，受到prompt的启发，提出了一种新颖的微调范式，仅需极少的参数就能达到全量微调的性能，文章通俗易懂，但是其背后的原理才是最值得深究的地方~完整微调需要存储所有的参数，本文提出prefix-tuning，可以冻结语言模型参数，优化一系列连续的特定任务的向量，称为prefix。实验部分对GPT-2进行微调，仅修改0.1%的参数，就得到了可比较的性能，并且在低资源场景优于全量微调。
LLM微调：fine-tuning，prefix-tuning，prompt-tuning，p-tuning，prefix-tuning，p-tuning-V2
最新发布
qq_35653657的博客
05-18 890
现在的预训练语言模型越来越大，为了一个特定的任务去FineTuning一个模型，然后部署，并且每个特定的任务的FineTuning的模型不能进行共享，这样会造成部署资源极大的浪费。因为人为构造的提示模板是离散的token，提示学习的效果会受到模板的提示语句不同，产生不同的效果，于是作者使用T5大模型去自动生成prompt模板，结果显示效果非常不错。大模型的Prompt构造方式严重影响下游任务的效果，即加一个词或者少一 个词， 或者变动位置都会造成比较大的变化。
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning：深度解读一种全新的微调范式， LLM、 AIGC、基于LLM构建领域应用
Self-Play Fine-Tuning (SPIN)的实现
02-13
论文“Self-Play Finetuning Converts Weak Language Models to Strong Language Models”的官方实现代码 SPIN 利用自玩机制，允许 LLM 通过与以前的迭代进行博弈来改进自己，而不需要比 SFT 数据集本身更多的人工注释偏好数据。更具体地说，LLM 从之前的迭代中生成自己的训练数据，通过从原始 SFT 数据中辨别这些自生成的响应来完善其策略。 HuggingFace Open LLM 排行榜上不同迭代时 SPIN 的平均得分。 SPIN 可以显著提高 SFT 后 LLM 在各种基准测试中的性能，优于在标记偏好数据集上使用直接偏好优化 （DPO） 训练的模型。该方法以理论为基础，确保 LLM 与目标数据分布保持一致，并通过对多个数据集的广泛评估进行实证验证。 与六个基准数据集的 DPO 训练的性能比较。迭代 0 时的 SPIN 实现了与 DPO 训练相当的性能，具有 62k 的新数据。在迭代 1 中，SPIN 已经在大多数数据集上超过了 DPO 训练。
SQLPrompt-10.14.0.4064.exe 支持SSMS 19.1
11-09
SQLPrompt-10.14.0.4064.exe 支持SSMS 19.1
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果
06-09
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果。内容包含预训练模型、配置文件、语音素材等。
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
LLM-Tuning.zip
02-06
LLM-Tuning.zip
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
07-18
huggingface下载速度慢，遇到sentence-transformers模型下载失败还是尽量使用进行本地下载改路径的方式。
【Bert、T5、GPT】fine tune transformers 文本分类/情感分析
05-30
主要是通过加载一个文本分类的预训练模型，然后在数据集上面进emotion数据集上面的fine-tuning。然后对训练好的模型进行效果的分析，包括F1，Precision和Recall等。 fine-tune transformers distilbert-base-uncased...
[NLP] 直接神经机器翻译（direct NMT）
心宝的博客
05-17 28
直接神经机器翻译（Direct Neural Machine Translation，Direct NMT）是一种机器翻译方法，它直接将源语言句子映射到目标语言句子，而不需要使用中间语言或中间表示。：这种方法利用源语言和目标语言之间的句法结构来进行翻译，通常涉及解析源语言句子的句法结构，并尝试在目标语言中保留相似的句法结构。：这是一种传统的统计机器翻译方法，它将输入句子分解为短语，并使用短语之间的翻译概率来生成目标语言句子。
P -tuning V1
08-25
对于P-tuning V1的信息，很抱歉，我在提供的引用内容中没有找到相关的描述。引用提到了P-Tuning v2，但没有提及P-tuning V1。引用提到了P-tuning的实现，但没有具体描述P-tuning V1的细节。引用提到了与P-tuning相关的模板和标记的定义，但没有明确指明是关于P-tuning V1的。因此，我无法提供关于P-tuning V1的详细信息。如果您有其他相关的引用内容或者需要其他的帮助，请告诉我。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [P-tuning v1 v2](https://blog.csdn.net/weixin_40683960/article/details/123161497)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [知识图谱：【知识图谱问答KBQA（四）】——P-tuning V1](https://blog.csdn.net/u013010473/article/details/122843863)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

#苦行僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值