神经网络微调技术全解（03）-Prompt Tuning全面解析

最新推荐文章于 2024-11-04 17:04:20 发布
最新推荐文章于 2024-11-04 17:04:20 发布
阅读量1.3k 收藏 11
点赞数 44
分类专栏： 神经网络 文章标签： 神经网络 机器学习
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Practicer2015/article/details/141504644
版权

Prompt Tuning是一种旨在通过优化输入文本中的提示来引导大型预训练语言模型（如GPT-3、T5等）在特定任务上表现更好的微调技术。它是一种无需修改模型内部参数的轻量级微调方法，特别适用于处理不同任务或领域的情境。

1. 背景

在传统的全参数微调中，所有模型参数都会根据特定任务的数据进行微调。虽然这种方法可以使模型更好地适应任务，但它的计算成本高，并且在多任务场景下，需要为每个任务存储和管理不同的模型版本。

Prompt Tuning则采用了一种更为高效的方法，通过优化少量提示（Prompt）来引导模型完成任务，避免了对模型全部参数的修改。

2. 核心思想

Prompt Tuning的核心思想是将任务信息嵌入到输入文本中，而不是依赖模型的参数调整。通过优化提示，模型可以更好地理解任务上下文，并生成与任务相关的输出。提示的设计与优化成为模型表现的关键。

3. Prompt Tuning的实现机制
3.1 提示设计
  • 静态提示（Fixed Prompts）
了解本专栏 订阅专栏 解锁全文 超级会员免费看
技术与健康
关注
专栏目录
订阅专栏
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
神经网络微调技术全解（05）-- Learnable Prompts vs Prefix Tuning
技术与健康
08-28 858
是一种更为通用的概念，允许在输入文本前后插入可训练提示，并且在模型输入层进行优化。它的应用范围较广，但影响主要局限于输入表示。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
shanguicsdn000的博客
06-29 1183
（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源：比完全微调需要的资源少。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning
2401_85328934的博客
07-08 1407
（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源：比完全微调需要的资源少。
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
热门推荐
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
神经网络微调技术全解（04）-- Prompt Tuning-可训练提示（Learnable Prompts）
技术与健康
08-28 562
可训练提示”（Learnable Prompts）是Prompt Tuning中的一个关键概念。与手动设计的固定文本提示不同，可训练提示指的是一种自动化的、基于学习的提示优化方法。这种提示不再是简单的静态文本，而是通过训练模型来学习的一组向量表示，用以引导模型在特定任务上的输出。可训练提示是Prompt Tuning中的一种关键技术，通过将提示作为可训练的向量而非静态文本，来引导预训练模型更好地完成任务。它的自动化学习过程减少了对人工设计提示的依赖，并且在参数效率和适应性方面表现优异。
大模型高效参数微调技术（Prompt-Tuning、Prefix Tuning、P-Tuning、LoRA...）
酒酿小圆子呀～
07-13 993
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
大模型参数高效微调技术原理综述（四）-Prompt Tuning
qq_32907491的博客
09-01 1101
首先我们看一下论文摘要，快速理解论文的核心内容问题与一样，都是以任务为中心的思路解决问题。以任务为中心：它们都在试图解决FFT针对不同的下游任务都需产生一个新的微调后大模型而导致的成本效率问题。解决方案：论文提出的，也是一种使用Soft Prompt(软提示)进行迁移学习的方法。统一不同下游任务的训练数据格式，并将这些不同下游任务的训练数据汇总成一个乱序的数据集，微调预训练模型，最终获得一个能处理不同下游任务的大模型。实验效果在小参数规模的T5上，略差于FFT性能。在中参数规模的T5上，
神经网络微调技术全解（01）-不同的微调方法如PEFT、SFT、LoRa、QLoRa等，旨在解决不同的问题和挑战
技术与健康
08-25 886
PEFT：关注减少全面微调的计算和存储需求，通过部分参数的微调实现高效适应性。SFT：专注于将无监督预训练模型转换为能够执行特定监督任务的模型。LoRa：通过低秩矩阵分解减少微调参数的数量，从而降低计算和存储成本。QLoRa：在LoRa的基础上引入量化，进一步减少存储需求，适用于资源有限的场景。Adapter: 用于多任务学习，通过添加可训练模块进行适应。: 通过优化输入提示来引导大语言模型的任务表现。: 通过训练前缀向量来影响模型输出，适合大模型。BitFit: 仅微调偏置项，极大减少参数量。
人工智能_大模型006_CPU微调ChatGLM大模型_Prefix-Tuning微调原理_Prompt-Tuning/P-tuning微调原理_微调_001---人工智能工作笔记0141
添柴程序猿的专栏
02-23 590
上面是prompt-tuning 和p-tuning的区别,可以看到其实,一个就是仅仅添加训练后的向量提示词,一个就是,直接把prompt-tuning的提示词再进行使用BiLSTM和MLP进行编码,编码以后把编码后的提示词,直接融入到模型本身的参数权重中去,这样消耗算力就多.如果是一组固定的,可读的文字,或者自然语言,那么他对,结果的影响是非常大的,那么这个时候,一般用第二种 方法,softprompt,叫做连续prompt,这个就是向量了,就是向量空间优化出来的提示.
自监督强化学习：对比预测编码（CPC）算法深度解析
Chujun123528的博客
11-01 659
自监督强化学习是一种结合自监督学习与强化学习优势的新兴方法。它利用数据的内在结构生成监督信号，从而减少对外部标签的依赖，使智能体能够在无标签或标签稀缺的环境中学习有效的表示。CPC算法则是自监督强化学习中的一种重要算法，它通过对比学习（Contrastive Learning）来提取全局特征，帮助智能体学习有用的状态表示。CPC算法由DeepMind提出，旨在减少无监督学习中对标签的依赖，同时最大化局部信息和全局特征之间的关联。
了解神经网络中的激活函数
吾辈当自强
11-01 836
导数的取值范围为[0, 1]，反向传播过程中衰减速度比sigmoid要慢，经过tanh激活函数处理后的输出均值约为0（这相当于做了归一化），所以tanh比sigmoid具有更稳定的梯度，但是依然无法避免梯度消失的问题。，导数的取值范围[0, 1/4]，sigmoid在使用反向传播来训练神经网络时，会产生梯度消失的问题，另外sigmoid处理后的输出数据是一个非负值，在反向传播过程中会增加梯度的不稳定性。如ReLU，softplus等，还有Leaky ReLU，ELU，Softmax等。
【机器学习】27. 马尔科夫链和隐马模型HMM
weixin_48846514的博客
11-02 669
马尔科夫链和隐马模型HMM
深入解析：人工智能与机器学习
最新发布
qq_36287830的博客
11-04 1058
人工智能是指由计算机系统所表现出的智能行为。它可以分为弱人工智能(针对特定任务的人工智能)和强人工智能(具备人类水平智能的通用人工智能)两大类。机器学习是人工智能的一个分支，专注于开发算法，使计算机能够从数据中学习并改进其性能，而不需要显式编程。人工智能与机器学习正在深刻改变我们的世界。它们不仅为企业带来了前所未有的商业机会，也为个人生活带来了极大的便利。面对这一波技术浪潮，我们需要保持开放的心态，积极探索和应用新技术，同时也要关注其带来的挑战，共同努力推动AI技术的健康发展。
【机器学习】23. 聚类-GMM: Gaussian Mixture Model
weixin_48846514的博客
11-01 283
GMM介绍实现
Machine Learning
L-李俊漩的博客
11-04 601
Dimensionality reduction (降维)clustering algorithm(聚类算法)anomaly detection（检测异常事件）预测类别 predicts categories。离散类别 discrete categories。classification 分类。classification 分类。Regression 回归。
【新闻文本分类识别】Python+CNN卷积神经网络算法+深度学习+人工智能+机器学习+文本处理
2301_78372746的博客
11-01 451
文本分类识别系统。本系统使用Python作为主要开发语言，首先收集了10种中文文本数据集（“体育类”, “财经类”, “房产类”, “家居类”, “教育类”, “科技类”, “时尚类”, “时政类”, “游戏类”, “娱乐类”），然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练，最后得到一个识别精度较高的模型，并保存为本地的h5格式。然后使用Django开发Web网页端操作界面，实现用户上传一段文本识别其所属的类别。
G2 基于生成对抗网络（GAN）人脸图像生成
tjl521314_21的博客
10-29 1089
生成器（G）：输入随机噪声，通过学习数据的分布模式生成类似真实图像的输出。判别器（D）：用来判断输入的图像是真实的还是生成器生成的。训练过程中，生成器尝试欺骗判别器，生成逼真的图像，而判别器则不断优化，以区分真实图像与生成图像。这种对抗过程最终使生成器的生成能力逐渐逼近真实图像。生成器将随机噪声（潜在向量）通过一系列转置卷积层转换为图像。每层使用ReLU激活函数，最后一层用Tanh激活函数，将输出限制在[-1, 1]。nn.Tanh()
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术与健康

你的鼓励将是我最大的创作动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值