PEFT-LISA

已于 2024-04-03 01:37:04 修改
阅读量301 收藏 4
点赞数 10
分类专栏： LLM 文章标签： LISA PEFT
于 2024-04-03 01:36:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/transformer_WSZ/article/details/137308418
版权

LISA是LoRA的简化版，但其抓住了LoRA微调的核心，即LoRA侧重更新LLM的底层embedding和顶层head。

phe

根据上述现象，LISA提出两点改进：

  • 始终更新LLM的底层embedding和顶层head
  • 随机更新中间层的hidden state

phe

实验结果

显存占用

gpu

毕竟模型参数大头还是在底层embedding，所以显存占用并没有减少太多。

训练时间

time

下游任务微调

exp

在MT-BENCH上，LISA超过了LoRA，甚至全量参数微调。

参考

transformer_WSZ
关注
专栏目录
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 2572
使用ms-swift高效微调qwen2-7b-instruct
cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so‘...解决方案
热门推荐
weixin_43178406的博客
08-09 5万+
 本文主要介绍了cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so’…，希望能对学习大语言模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
大模型训练之加速篇 -＞ peft(Lora-＞ReLORA-＞Vera-＞Dora-＞LISA-＞Lora+-＞Lora-GA) -＞ accelerator -＞ deepspeed (Zero)
weixin_36378508的博客
09-20 1250
加速。大模型
LLMs 大模型微调Finetune，LISA强势来袭，相比LoRA微调LISA性能提升巨大，微调新方法LISA微调登榜sota，LISA: Layerwise Importance Sampling
L_goodboy的博客
04-02 1453
LLMs 大模型微调Finetune，LISA强势来袭，相比LoRA微调LISA性能提升巨大，微调新方法LISA微调登榜sota，LISA: Layerwise Importance Sampling
大语言模型peft微调技术
xxzhix的博客
04-18 943
上图x轴表示的是层id，即哪一层，从embedding层到最后输出层，y轴表示的是norm值。P-tuning的缺点：1. 并不能做到在所有规模参数的模型上表现都好，超过10 billion参数的模型表现好，100 million到1 billion规模参数的模型上相比全参数微调差很多。但是，不同于让专家优化单个词，单个词容易受具体的词的影响，不同的词有不同的向量表示。在DoRA中，是对参数矩阵分解，而不是向量，矩阵的每一列参数连接了输入到输出，也就是将每一列看作向量做分解（如下图右）。
swift 命令行参数
人工智能曾小健
07-26 1148
如果内存允许，建议设置为'ALL'。如果尚未注册，model_type则model_id_or_path必须同时指定 和 ，例如--model_type <model_type> --model_id_or_path <model_id_or_path>。--push_hub_strategy：推送策略，默认为'push_best'。
[论文阅读笔记34] LISA (LISA: Reasoning Segmentation via Large Language Model) 代码精读
wjpwjpwjp0831的博客
08-06 500
LISA是一个很好的Reason Segmentation的baseline, 其利用特殊的token [SEG]来微调多模态LLM和SAM的decoder来实现复杂逻辑下的prompt的推理分割. 其整体框图如下, 本篇文章精度此代码并作简单复现.
【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式
机器学习杂货铺1号店
09-29 2052
Prompt tuning是一种高效的LLM下游任务适配方式
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
peft-0.3.0.tar.gz
08-29
"PEFT 0.3.0.tar.gz" 是一个针对此目的的工具，它是一个压缩文件，包含了名为 "peft-0.3.0" 的程序或库。这个版本的PEFT（可能代表“Portable Executable File Tool”）提供了对PE格式文件（主要用于Windows操作系统...
python库peft安装包
05-05
可以采用pip安装的peft安装包，包括makefile文件，此库非常有用，依赖库有torch及python，一些版本号可以自己修改，具体可查看里面的文件。该安装包用于大模型微调使用，是必不可少的依赖。
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
05-16
本项目聚焦于一个具体的大模型微调实战，即使用PEFT（Prompt Engineering for Fine-Tuning）方法对ChatGLM-6B进行优化，从而提升模型的性能和适应性。 **PEFT微调** 是一种针对预训练模型进行定制化调整的方法，...
基于Java语言的蓝牙遥控器设计源码，支持键盘、鼠标、影音遥控器
10-05
该项目为基于Java语言的蓝牙遥控器设计源码，包含539个文件，涵盖307个Java源文件、120个XML配置文件、34个PNG图片文件、16个Gradle构建文件、12个Git忽略文件、9个文本文件、6个JAR包文件、5个JSON配置文件、5个JPG图片文件。该遥控器支持键盘、鼠标和影音控制功能，适用于多种场合。
数据手册-74HC573-datasheet.zip
10-05
数据手册-74HC573-datasheet.zip
苏州科技大学在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-05
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
c++的概要介绍与分析
最新发布
10-05
关于C++的资源描述和项目源码，以下是一些关键信息： 资源描述 C++是一种广泛应用于开发高性能应用程序的编程语言，既有高级语言的特性，也有低级语言的效率。以下是C++学习资源的简要描述： 在线课程：如优达学城提供的C++中级课程，以及北京大学提供的C++程序设计和C++程序设计进阶课程，这些课程适合从零开始系统学习C++，涵盖从基础到高级的编程内容。 书籍：如《C++ Primer》、《Effective C++》和《C++标准库》等，这些书籍详细介绍了C++语言的基本概念和编程技术，适合作为自学或课堂教学的参考资料。 在线社区：如CSDN博客和Stack Overflow等，这些社区提供了丰富的C++编程教程、示例代码和问题解决方案，是学习和交流C++编程技术的重要平台。 开发工具：如Visual C++（VC）等集成开发环境（IDE），提供了编译器、调试器和其他工具，方便开发者进行Windows平台上的C++应用程序开发。 项目源码 由于项目源码通常包含大量的代码文件和资源文件，且涉及版权和知识产权问题，因此无法在此直接提供完整的项目源码。不过，以下是一些获取C++项目源码的
锻压成型机_三维3D设计图纸.zip
10-05
锻压成型机_三维3D设计图纸.zip
mmexport1728042361260.mp4
10-05
mmexport1728042361260.mp4
chatglm2 peft
07-29
ChatGLM-PEFT是基于General Language Model (GLM)架构的高效微调方法，用于优化ChatGLM-6B模型。ChatGLM-6B是一个中文大模型，经过中英双语训练，并通过监督微调、反馈自助和人类反馈强化学习等技术进行了优化。在一些实体抽取的任务中，微调ChatGLM-6B取得了很不错的效果。[1] 关于ChatGLM的代码，目前尚未集成到transformers库中。作者将基于transformers实现的代码和模型文件放在了THUDM/chatglm-6b的主要分支中。可以通过transformers中的Autoxxx类加载模型文件，也可以直接使用THUDM/chatglm-6b中的代码进行调用。需要使用的代码包括modeling_chatglm.py、tokenization_chatglm.py和configuration_chatglm.py。[3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值