《实验细节》上手使用PEFT库方法和常见出错问题

已于 2023-10-18 20:00:08 修改
阅读量587 收藏
点赞数 1
分类专栏： NLP 文章标签： PEFT hugging face 代码 常见错误
于 2023-10-18 11:18:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/133901689
版权
NLP 专栏收录该内容
89 篇文章 51 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了PEFT库的安装、常用命令，详细讲解了如何保存和加载PEFT模型，并针对遇到的问题如'ValueError: Please specify target_modules in peft_config'提供了解决方案，帮助读者快速掌握PEFT的使用技巧。
摘要由CSDN通过智能技术生成

《实验细节》上手使用PEFT库方法和常见出错问题

在这里插入图片描述

安装问题

首先给出用到的网站

  1. 更新NVIDIA网站

https://www.nvidia.com/Download/index.aspx

在这里插入图片描述
2. 使用PEFT的优秀demo

https://www.philschmid.de/fine-tune-flan-t5-peft

在这里插入图片描述
3. 下载一些库的必备网站

https://pypi.org/

  1. 安装匹配的torch网站

http://mirrors.cloud.tencent.com/pypi/simple/torch/

常用命令

  1. 查询cuda版本

nvidia-smi
或
nvcc --version

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
ValueError: Please specify `target_modules` in `peft_config`解决方案
weixin_43178406的博客
04-27 4万+
本文主要介绍了ValueError: Please specify `target_modules` in `peft_config`解决方案，希望能对使用peft的同学们有所帮助。 在这里插入图片描述 文章目录 1. 问题描述 2. 解决方案
【peft】用peft调大模型，加载checkpoint失败，报ValueError: Can‘t find a valid checkpoint at
weixin_43857772的博客
07-26 1360
然后报错：raise ValueError(f"Can't find a valid checkpoint at {resume_from_checkpoint}")ValueError: Can't find a valid checkpoint at checkpoint目录。解决，新建一个Trainer子类，子类里重写了加载检查点的函数，调用时用这个子类来创建trainer对象。就是_load_from_checkpoint有点问题。
关于ValueError: `validation_steps=None` is only valid for a generator based on the `keras.utils...
sdu_jinye的博客
07-09 5041
关于这个错误也是很奇葩，其实很简单，在我这出现的原因是由于validation-data数据过少，而batchsize的数目太大，导致两者相除的结果一直为0，所以会在fit_generator函数里面报错。针对这种情况，一般在数据量大的时候不会发生，但是在数据量非常少（比如我只选了几十个数据做测试网络用）就会出现这种情况，所以鉴于这种情况下，可以调整batchsize为1，先用来测试，然后在网络调...
算法编译遇到的问题
weixin_42415578的博客
02-18 698
root@ubuntu:/home/ticy/share/INP-Napa_Earbuds_am3d_for_ces0214# make -j4 Makefile:193: *** Please specify the target in the command line: T=<targetName>.  Stop. root@ubuntu:/home/ticy/share/INP-...
pyinstaller 打包fastapi项目成exe后，ValueError: Unable to configure
qq_16082527的博客
12-13 970
使用pyinstaller打包python项目时，遇到logging配置的问题，解决办法。
python库peft安装包
05-05
可以采用pip安装的peft安装包，包括makefile文件，此库非常有用，依赖库有torch及python，一些版本号可以自己修改，具体可查看里面的文件。该安装包用于大模型微调使用，是必不可少的依赖。
使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码
08-10
关于使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码,其中包含了几个脚本和设置： 1. `setup_lambdalabs.py`脚本：用于设置大部分所需的配置，适用于使用lambdalabs平台的用户。你需要创建一个名为`...
浅谈全量微调和PEFT高效微调(LoRA)
07-15
PEFT（Prefix Encoder-Free Tuning）是一种高效的微调方法，其中LoRA（Low-Rank Adaptation）是最常见的实现方式之一。与全量微调不同，LoRA的核心思想在于减少需要学习的参数数量，从而大幅度降低计算成本和提高...
基于PEFT的高效ChatGLM微调python源码+使用说明.zip
12-20
基于PEFT的高效ChatGLM微调python源码+使用说明.zip `dataset`, 分词后的数据集，即在 data/ 地址下的文件夹名称 `lora_rank`, 设置 LoRA 的秩，推荐为4或8，显存够的话使用8 `per_device_train_batch_size`, 每块...
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
05-16
本项目聚焦于一个具体的大模型微调实战，即使用PEFT（Prompt Engineering for Fine-Tuning）方法对ChatGLM-6B进行优化，从而提升模型的性能和适应性。 **PEFT微调** 是一种针对预训练模型进行定制化调整的方法，...
【自然语言处理】大模型高效微调：PEFT 使用案例
wzk4869的博客
08-09 4253
【自然语言处理】大模型高效微调：PEFT 使用案例
peft微调参数解析
qq_43605231的博客
01-24 523
本文讨论用peft库进行大模型微调，采取LoRA和P-Tuning(v2)两种方式。
python打包exe报错：Fatal error: PyInstaller does not include a pre-compiled bootloader for your platform.
escaping的博客
10-08 4602
pyinstaller 打包的时候报错： Fatal error: PyInstaller does not include a pre-compiled bootloader for your platform. For more details and instructions how to build the bootloader see 这个问题的具体原因我也不知道，看了很多文章都没有解决。直到这一篇：Pyinstaller缺少引导加载程序 我创建了个新的虚拟环境，下载pyinstaller源码包安
使用 LoRA 和 Hugging Face 高效训练大语言模型
zenRRan的博客
04-14 1672
来自：Hugging Face进NLP群—>加入NLP交流群在本文中，我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models，LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型。在此过程中，我们会使用到 Hugging Face 的 Transformers、Accelerate ...
对 ChatGLM-6B 做 LoRA Fine-tuning
热门推荐
phycoding的博客
03-31 1万+
ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做 Fine-tuning 就非常有价值了。
特制自己的ChatGPT：多接口统一的轻量级LLM-IFT平台
Paper weekly
04-01 4486
©PaperWeekly 原创 ·作者 |佀庆一单位 |中科院信息工程研究所研究方向 |视觉问答项目简称：Alpaca-CoT（当羊驼遇上思维链）项目标题：Alpaca-CoT: An Instruction Fine-Tuning Platform with Instruction Data Collection and Unified Large Language Models Int...
大学生创业计划书(30)-两份资料.doc
08-20
大学生创业计划书(30)-两份资料.doc
学习DXP编辑多个对像
08-20
DXP编辑多个对像
基于Matlab编程的直线检测实现[Matlab编程].zip
最新发布
08-20
MATLAB提供了多种直线检测技术，其中包括以下几种常用的方法： 1. Hough变换：Hough变换是一种基于极坐标空间的直线检测方法，通过将直线表示为参数空间中的点，将图像中的直线检测问题转化为参数空间中的点集聚类问题。MATLAB中的函数'hough'和'houghlines'可以实现Hough变换直线检测。 2. 边缘检测+RANSAC：先使用边缘检测方法（如Sobel、Canny等）提取图像中的边缘，然后使用RANSAC算法拟合直线模型。MATLAB中的函数'edge'可以进行边缘检测，而函数'fitline'可以使用RANSAC算法进行直线拟合。 3. 直线分段检测：将图像中的直线分段，在每个段上进行直线拟合。常见的方法包括分段最小二乘法、分段Hough变换等。MATLAB中的函数'fitline'可以对图像中的曲线进行分段直线拟合。 4. 基于模型的直线检测：根据直线的几何模型进行直线检测，常见的方法包括RANSAC算法、最小二乘法等。MATLAB中的函数'fitline'可以实现基于模型的直线检测。 以上是一些常用的MATLAB直线检测技术，具体的选择要根据实
peft库实战(一):lora微调bert(文本情感分类)
01-10
在实战操作中，PEFT库可以用来微调BERT模型，以进行文本情感分类任务。首先，我们需要准备一个包含大量文本和标签的数据集，用于训练和验证BERT模型。然后，我们需要利用PEFT库中提供的工具和接口，将数据集转换成BERT模型可接受的格式，并进行数据预处理，如分词和填充等操作。 接着，我们可以利用PEFT库中提供的预训练模型，加载BERT模型的参数和网络结构，并在数据集上进行微调。微调的过程中，我们可以通过调整学习率、批大小和训练轮数等超参数，来优化模型的性能。在每个训练轮数结束后，我们可以利用PEFT库中的评估工具对模型进行评估，以了解模型在验证集上的性能表现。 最后，当模型在验证集上的性能达到满意的水平后，我们可以使用PEFT库提供的保存模型工具，将微调后的BERT模型保存下来，以备在实际应用中使用。通过PEFT库的实战操作，我们可以有效地利用BERT模型进行文本情感分类任务，提高模型的准确性和泛化能力，从而更好地满足实际应用的需求。 PEFT库的实战操作不仅帮助我们更好地理解和使用BERT模型，也为我们提供了一套完整的工具和流程，使得模型训练和应用变得更加简单和高效。 PEFT库实战(一): lora微调BERT(文本情感分类) 的操作流程清晰，易于上手，为我们在文本情感分类任务中的应用提供了有力的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值