深入解析：Peft Adapter与LLM融合

最新推荐文章于 2024-11-09 21:51:15 发布
最新推荐文章于 2024-11-09 21:51:15 发布
阅读量1.4k 收藏 18
点赞数 26
分类专栏： 领域模型三阶段训练 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/134654017
版权
本文详细解读了如何将增量预训练阶段或有监督微调阶段产生的adapter文件与原始模型进行合并。通过代码分析，展示了模型合并的具体步骤，并提供了完整的代码示例。同时，文章提及了超参数设置、模型和分词器的加载与保存，以及运行结果。参考了相关的GitHub资源，供读者进一步研究。
摘要由CSDN通过智能技术生成

在增量预训练阶段或有监督微调阶段使用高效微调方法（Lora）时会产生adapter文件，相当于是一个“补丁”。那么如何将“补丁”与原始模型合并呢？

下面将对模型合并代码进行解读。

相关代码将全部上传到github：

https://github.com/hjandlm/LLM_Train

欢迎关注公众号

代码解读

  1. 导入包
import argparse
from loguru import logger

import torch
from peft import PeftModel, PeftConfig
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hj_caas
关注
专栏目录
订阅专栏
大模型-微调技术：PEFT库
u013250861的博客
06-09 873
随着ChatGPT等LLM大模型的发展，目前业界已经发现只有当模型的参数量达到10B规模以上时-才能出现一些在小模型上无法得到的涌现能力-比如in_context learing和chain of thougt。深度学习似乎朝着模型越来越大的方向深入。而对于这些通用的LLM大模型如何进行任务微调呢，会遇到很多的问题。1）对于动则百亿级别的参数,如何更高效,低资源的微调大模型呢；2）当样本量很小的时候，如何微调大模型能得到较好的效果呢。
LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】
u013250861的博客
10-22 1406
【代码】LLM-微调：Peft库--get_peft_model()函数【在llm基座模型的基础上加载Lora模块（Lora模块的初始参数是随机初始化的）】
PEFT（Parameter-Efficient Fine-Tuning）技术总结
taoqick的专栏
06-06 1880
来自Parameter-Efficient Transfer Learning for NLP，介绍了adapter结构：首先是一个down-project层将高维度特征映射到低维特征，然后过一个非线形层之后，再用一个up-project结构将低维特征映射回原来的高维特征；同时也设计了skip-connection结构，确保了在最差的情况下能够退化为identity。
【Python】科研代码学习：十二 PEFT（高效参数的训练，Adapter适配器）
溢流眼泪的博客
03-14 2718
【代码】【Python】科研代码学习：十二 PEFT（高效参数的训练，Adapter适配器）
大模型PEFT技术原理（三）：Adapter Tuning及其变体
wshzd的博客
08-15 993
随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficient Transfer Learning），即固定住Pretrain Language model（PLM）的大部分参数，仅调整模型的一小部分参数来达到与全部参数的微调接近的效果（调整的可以是模型自有的参数，也可以是额外加入的一些参数）。
大模型参数高效微调PEFT的理解和应用
Bryce1010's Blog
09-11 490
如果对网络层每一层都要重新实现LoRA的方法，是比较复杂的，推荐使用HuggingFace的封装库peft，覆盖基本的网络模型。共用基础LLM是未来的趋势，如果需要快速适应特殊的任务，只需要训练LoRA的参数即可，大大降低了GPU的使用量；当不同任务的切换时，只需要切换不同的LoRA参数；
大模型高效调参—PEFT库（ Parameter-Efficient Fine-Tuning）
消极的人永远是对的，积极的人选择勇往直前
05-17 6061
大模型高效调参大法——PEFT库（ Parameter-Efficient Fine-Tuning）
基于pytorch实现的语言生成模型指令微调框架：peft模型训练(源码)
08-28
pytorch 1，环境 ... 2，predict.py 使用模型 3，feature_make.py 制作特征数据库 ...4，feature_search.py ...用gradio将程序包装成一个可视化的页面，可以在网页可视化的展示 ...微调模型：训练peft模型
PEFT | Lora、AdaLora、QLora高效调参原理解析，PEFT | Prompt系列高效调参原理解析，PEFT | Transformer参数量、计算量、显存占用分析
代码讲故事
07-25 235
PEFT | Lora、AdaLora、QLora高效调参原理解析，PEFT | Prompt系列高效调参原理解析，PEFT | Transformer参数量、计算量、显存占用分析。
如何高效微调大模型？五大前沿 PEFT 技术为你揭晓，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
08-01 783
大模型的微调一直是一个复杂而资源密集的任务。然而，近年来出现了一些高效的微调技术（PEFT），使得这一过程变得更加简便和高效。本文将详细介绍几种主要的 PEFT 技术，包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1 和 P-Tuning v2。Adapter Tuning 是一种在 2019 年提出的创新微调技术，旨在通过添加额外的适配层来提高模型的微调效率。
【笔记】大模型时代下做科研的四个思路 - 论文精读·52
elephant_my的博客
09-09 741
1、Efficient(PEFT) 提升训练效率，这里以PEFT(parameter efficient fine tuning)为例 2、Existing stuff(pretrained model)、New directions 使用别人的预训练模型，新的研究方向 3、plug-and-play 做一些即插即用的模块，例如模型的模块、目标函数、新损失函数、数据增强方法等等。 4、Dataset,evaluation and survey 构建数据集、发表分析为主的文章或者综述论文 作者
大模型PEFT综述详解-从Adpter、PrefixTuning到LoRA
人工智能讲师分享前沿技术
11-05 458
Transformer block自注意力模块在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。是NLP目前的主流范式。指令微调在预训练语言模型微调的基础进行优化，其目的是尽量让下游任务的形式尽量接近预训练任务。指令微调的效果要优于基于Zero/Few-shot的提示词工程的上下文学习。但随着预训练语言模型进入LLM时代，其参数量愈发庞大。全量微调模型所有参数所需的显存早已水涨船高。例如：
【peft】huggingface大模型加载多个LoRA并随时切换
QixuanAIRobot的专栏
05-14 1万+
peft加载多个lora模型并随时切换的方法
大模型训练——PEFT与LORA介绍
热门推荐
weixin_44826203的博客
03-29 5万+
本文针对大模型的低资源训练策略LORA的原理和代码实现进行了介绍。
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 992
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
PCA（主成分分析）算法的应用场景
最新发布
huanfeng_AI的博客
11-09 531
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 3357
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 629
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 408
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值