ChatGLM多卡微调踩坑记录

最新推荐文章于 2024-05-17 21:51:35 发布
最新推荐文章于 2024-05-17 21:51:35 发布
阅读量648 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 深度学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131262206
版权
本文记录了在使用LoRA微调ChatGLM时遇到的三个主要问题：1) 异常错误'Expected all tensors to be on the same device'; 2) 'ValueError'与模型半精度计算；3) 在模型评估时输入维度不匹配的问题。针对这些问题，作者提供了相应的解决方案，包括检查模型版本、处理数据类型和适配不同版本的peft库。同时，分享了相关的GitHub链接以供参考。
摘要由CSDN通过智能技术生成

题主近期尝试使用LoRA在自有数据上微调ChatGLM，尽管GitHub上已有很多LoRA相关代码，但实现过程中题主还是遇到了很多问题，现将遇到的问题整理出来供大家参考，实现的相关代码也会整理到GitHub.

1. Error: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0!

使用deepspeed多卡训练时会遇到这个问题，原因是由于ChatGLM进行了一次更新，使用离线下载的老版模型参数和AutoModel加载的新版配置会发生冲突。

可以通过模型中的config.json文件鉴别下载到本地的ChatGLM是老版还是新版。

老版的ChatGLM的vocab_size为150528:

{
  "_name_or_path": "THUDM/chatglm-6b",
  "architectures": [
    "ChatGLMModel"
  ],
  "auto_map": {
    "AutoConfig": "configuration_chatglm.ChatGLMConfig",
    "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSeq2SeqLM":
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
ChatGLM LoRA微调实战方案
herosunly的博客
04-28 17万+
本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
大模型ChatGLM Lora微调的参数详探- 多卡版本
人工智能曾小健
07-04 3186
但是，如果你想要尝试提高模型的精度，可能需要试验不同的batch size。不同的深度学习框架可能会有不同的命名规则，一般来说，xxit/s是每秒钟处理的批次（batch）数量，而不是每秒处理的数据条数。比如，如果我们有1000个样本的数据集，我们可以设置batch size为100，那么我们就会将数据集分成10批，每批包含100个样本，然后逐一将这10批数据输入到模型中进行训练。：这是一个标志，表示如果你的缓存中已经存在预处理过的数据集，那么这个标志会让你的程序忽略这些数据，重新预处理数据。
ChatGlm-6B多张显卡的web_demo.py
fjalan的专栏
05-10 2967
在运行上面的代码需要保证你的显卡的驱动已经安装，需要验证以下代码反回为true。
如何使用chatglm-6b实现多卡训练
06-05 2576
多卡训练
【保姆教程】白嫖GPU T4*2！Kaggle实现chatglm微调任务----单机多卡训练测试
qq_72632426的博客
05-28 4214
【保姆教程】白嫖GPU T4*2！Kaggle实现chatglm微调任务----单机多卡训练测试
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 9万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
在本“保姆教程”中，我们将探讨如何充分利用Kaggle平台上的GPU T4双卡资源，进行ChatGLM（可能是指ChatGenerative Language Model）模型的微调，并最终在本地CPU上进行验证。这个教程主要面向希望提升聊天式语言...
AI大模型探索之路-训练篇24：ChatGLM3微调实战-多卡方案微调步骤详解
最新发布
寻道码路，探索编程之路的无限可能。
05-17 6265
在现代自然语言处理（NLP）任务中，随着模型规模的扩大和训练数据的增多，单张GPU的显存已经无法满足大模型的训练需求。为了充分利用多张GPU进行并行训练，我们需要了解不同的并行策略。本文将详细介绍ChatGLM3微调实战中的多卡方案及其步骤。这三篇论文共同构成了DeepSpeed项目的理论基础，它们不仅展示了如何通过技术创新来解决大规模模型训练中的挑战，还为深度学习社区提供了实用的工具和方法。
ChatGLM6B LORA微调
人上人酿酒师的博客
07-03 1633
chatglm + LORA 微调
ChatGLM系列五：Lora微调
永胜的博客
10-27 2292
目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA: 在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数,冻结其他参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。
中文网页自动导航挑战赛——lora微调ChatGLM经验分享
Savarus的博客
05-29 1213
Lora微调ChatGLM-6B经验分享
LLM-微调-方案（一）：Lora【案例：chatGLM-Lora】【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】
u013250861的博客
06-05 1021
【代码】Lora微调：chatGLM-Lora【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
LLMs之ChatGLM-2：ChatGLM2-6B的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-28 1万+
​ LLMs之ChatGLM2：ChatGLM2-6B的简介、安装、使用方法之详细攻略 目录 ChatGLM2-6B的简介 ChatGLM2-6B的安装 ChatGLM2-6B的使用方法 ChatGLM2-6B的简介 ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性： >> 更强大的性能=混合目标函
【LLM_02】LangChain知识库+Lora微调chatglm2-6b模型+提示词Prompt的使用原则
08-04 1万+
Prompt是给AI的指令，引导模型生成符合业务场景的响应输出。
基于chatGLM-6B模型微调详细教程（linux版）（ptuning & lora）
yuyangchenhao的博客
04-26 1万+
基于chatGLM-6B模型预训练（linux版）（ptuning || lora）
从GLM-130B到ChatGLM：大模型预训练与微调
liguandong
06-05 3182
【原生GPT-4接口】直接使用，不限次数。，【官方教程】ChatGLM-6B 微调：P-Tuning，LoRA，Full parameter，从入门到精通：掌握 ChatGLM6B 模型的流式接口用法，Falcon40B荣登开源AI大模型排行榜首位，【官方教程】VisualGLM技术讲解，清华发布VisualGLM-6B多模态模型 ChatGLM-6B升级版，【官方教程】XrayGLM微调实践，演示ChatGLM-6B加载本地知识库精确回答财税问题。130B，8台80G，24台40G。
huggingface多卡加载
03-27
Huggingface是一个开源的自然语言处理（NLP）库，提供了许多用于处理文本数据的工具和模型。多卡加载是指在使用Huggingface库加载和训练模型时，同时利用多个GPU卡进行计算加速。 在Huggingface中，可以使用`torch.nn.DataParallel`或`torch.nn.DistributedDataParallel`来实现多卡加载。这两个类都是PyTorch中用于并行计算的工具。 使用`torch.nn.DataParallel`时，可以通过以下步骤实现多卡加载： 1. 导入所需的库和模型。 2. 创建模型实例。 3. 使用`torch.nn.DataParallel`将模型包装起来，指定需要使用的GPU卡。 4. 将数据传递给模型进行训练或推理。 以下是一个示例代码： ```python import torch from torch import nn from transformers import BertModel # 导入所需的库和模型 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = BertModel.from_pretrained('bert-base-uncased') # 创建模型实例 model = model.to(device) # 使用torch.nn.DataParallel将模型包装起来，指定需要使用的GPU卡 model = nn.DataParallel(model) # 将数据传递给模型进行训练或推理 inputs = torch.tensor([[1, 2, 3], [4, 5, 6]]).to(device) outputs = model(inputs) ``` 使用`torch.nn.DistributedDataParallel`时，可以通过以下步骤实现多卡加载： 1. 导入所需的库和模型。 2. 创建模型实例。 3. 使用`torch.nn.DistributedDataParallel`将模型包装起来，指定需要使用的GPU卡。 4. 设置分布式训练环境。 5. 将数据传递给模型进行训练或推理。 以下是一个示例代码： ```python import torch from torch import nn from torch.nn.parallel import DistributedDataParallel from transformers import BertModel # 导入所需的库和模型 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = BertModel.from_pretrained('bert-base-uncased') # 创建模型实例 model = model.to(device) # 使用torch.nn.DistributedDataParallel将模型包装起来，指定需要使用的GPU卡 model = DistributedDataParallel(model) # 设置分布式训练环境 torch.distributed.init_process_group(backend='nccl') # 将数据传递给模型进行训练或推理 inputs = torch.tensor([[1, 2, 3], [4, 5, 6]]).to(device) outputs = model(inputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值