ChatGLM3本地部署+Lora微调

原创

已于 2024-03-28 15:02:42 修改 · 3.6k 阅读

41 ·

CC 4.0 BY-SA版权

文章标签：

#python #nlp #语言模型 #自然语言处理

于 2024-03-28 15:01:34 首次发布

文章介绍了如何从Git获取并配置ChatGLM3模型，包括拉取大文件、创建虚拟环境、安装依赖，以及使用Lora进行模型微调的过程，包括数据集预处理、配置参数和微调命令执行。

1. 本地部署

1.1 从Git拉取项目到本地

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。

Git地址连接

由于模型的权重文件很大，故需从HuggingFace上拉取到models目录下。

ChatGLM3-6B-base地址连接（不支持微调）

ChatGLM3-6B地址连接

1.2 配置环境

在conda创建一个虚拟环境，其中需要python版本建议3.11以上，随后配置cuda和torch，可以先使用nvidia-smi命令查看cuda支持的最高版本，随后按照pytorch官网的命令进行安装。

切换到配置chatglm的conda环境后，使用pip install -r requirements.txt命令安装所需的包，若是单机单卡运行，可

1.3 本地运行ChatGLM3-6b

在相应文件中把模型地址进行更换，随后在cd到basic_demo后运行py

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

686687

关注关注

14
点赞
踩
41

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

AI大模型探索之路-训练篇22： ChatGLM3微调实战-从原理到应用的LoRA技术全解

寻道AI，探索AI无限可能！

05-13

7219

在自然语言处理的浪潮中，Transformer架构以其独特的设计和卓越性能，成为了大语言模型的基石。ChatGLM3，作为其中的一员，通过微调在特定任务上展现了其强大的适应性和灵活性。本文将深入探讨ChatGLM3的架构设计，微调策略，并提供实战案例，以期为开发者提供宝贵的参考。

LLM、AGI、多模态AI 篇五：基于LoRA微调ChatGLM3

生活在别处

01-06

1672

hiyouga/LLaMA-Factory 是一个开源的 GitHub 仓库项目，它提供了一个易于使用的框架，主要用于大型语言模型（LLM）的微调和训练。这个项目旨在简化用户对多个著名开源大模型进行定制化训练的过程，包括但不限于 Baichuan、Baichuan2、BLOOM、BLOOMZ、ChatGLM3、Falcon、InternLM、以及 LLaMA 等模型。

3 条评论您还未登录，请先登录后发表或查看评论

【限时免费】有手就会！LoRA模型本地部署与首次推理全流程实战

最新发布

gitblog_02606的博客

07-27

430

有手就会！LoRA模型本地部署与首次推理全流程实战【免费下载链接】lora 项目地址: https://ai.gitcode.com/mirrors/JujoHotaru/lora ...

在ChatGLM大模型上利用LoRA方法进行小参数学习，训练语料库选择中文alpaca-zh

08-03

在ChatGLM大模型上利用LoRA方法进行小参数学习，训练语料库选择中文的[alpaca-zh]

chatGLM3-LoRA微调实战

逍遥壮士

03-19

2887

上文:chatGLM3+chatchat实现本地知识库为什么要微调？微调的主要目的是通过在特定任务上对预训练模型进行进一步训练，以适应该任务的需求，从而提高模型在该任务上的性能。具体来说，微调可以带来以下好处：提高模型的精度：预训练模型通常在大规模数据上进行训练，可以获得丰富的语言知识和语境信息。通过在特定任务上对这些预训练模型进行微调，我们可以更好地利用这些知识和信息，并将其适应到特定任务的需求...

ChatGLM3-6B本地部署LORA微调模型合并以及使用

weixin_42916154的博客

04-12

2336

IndexError: index out of range in self 原因是数据集太少了，增加数据集，或者修改为1。合并完成后直接使用的话要把Chatglm3-6B原始模型里面的几个Token文件复制到合并以后的文件夹中，不然会报错。用到其他调用方式的把模型地址替换一下就好了。运行代码python finetune_hf.py [数据集地址]finetune_hf.py，各种参数在lora.yaml文件中进行调整。'更换为自己的文件夹地址以及想用的提示词。将微调后的模型和原来的模型进行合并。

大模型LoRA微调-基于ChatGLM3-6B模型的LoRA方法微调实现-附项目源码+流程教程-优质项目实战.zip

10-16

大模型LoRA微调-基于ChatGLM3-6B模型的LoRA方法微调实现项目，不仅提供了一个高效微调大型预训练语言模型的工具，还通过完整的源码和教程，降低了技术门槛，使得更多的人能够参与到这个前沿领域中来。该项目不仅是一...

ChatGLM-6B LoRA微调实战（含完整代码）

10-24

536

本文将使用LoRA微调方法对ChatGLM-6B大模型进行微调。

基于chatglm3-6b模型的lora方法的微调（自我认知）

05-29

实施基于ChatGLM3-6B的LORA微调过程通常包括以下步骤： 1. 数据准备：收集与目标任务相关的训练、验证和测试数据集。这些数据应包括输入序列和对应的标签，例如对话系统的对话历史和回应。 2. 预处理：将文本数据...

01 ChatGLM-6B部署与微调教程

qq_33169644的博客

03-07

1576

ChatGLM-6B部署与微调教程

ChatGLM3——基于AutoDl平台的部署及LorA微调实践

s44274575的博客

11-26

4235

本文旨在记录项目的进度及试错过程，本文根据清华大学的开源项目ChatGLM3进行实现，本次实现基于AutoDl的GPU算力平台(相交便宜)的ubuntu操作系统，使用pytorch2.1.1 ， python3.10.12 （建议大于3.10）,cuda版本为11.8。如有问题欢迎指出！

用通俗易懂方式讲解：大模型 ChatGLM3 进行 LORA 高效微调全流程

2301_78285120的博客

06-29

1629

lora微调原理论文：

chatglm3 lora微调，训练+预测问题总结

weixin_42179685的博客

02-05

2610

ValueError: Tokenizer class ChatGLMTokenizer does not exist or is not currently imported. 如下图。chatglm3没有set_input_embeddings，两个解决方案，推荐方法2。（2）修改load_model_and_tokenizer方法中的model。1.自写set_input_embeddings方法（网上的没试过）transformers版本太旧了，换版本~1.依赖缺啥包就import啥包。

ChatGLM系列五：Lora微调

永胜的博客

10-27

2811

目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA: 在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数,冻结其他参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。

chatGLM3微调

huiguo_的博客

11-22

5190

大模型摘要微调

CHATGLM3应用指南（三）——模型微调

xiaoxian666的博客

05-13

1611

（3）修改“pt_checkpoint”为自己训练好的微调模型的“output”文件夹，修改“model”为chatglm3—6b底座模型的存放路径。（5）点击运行，等待一段时间后，在prompt输入提示词，即可出现回答。（4）确认所使用的内核，如果不对应，可以点击“内核” —>“更换内核”（1）在终端输入“jupyter notebook”运行finetune_pt.sh文件，使用命令。可使用下面代码对数据集格式调整。（2）创建以下的.ipynb文件。跳转到浏览器的jupyter。

训练自己业务的行业垂类大模型-生成式模型：从0到1复现ChatGLM的p-tuning和lora 微调

samoyan的博客,记录技术成长~

06-15

2646

ChatGLM-6B：我是一台人工智能助手，可以回答各种各样的问题，例如学术、语言、文化等方面的问题，提供有关历史、地理、科学、技术、社会和文化等各个领域的信息和知识，帮助用户解决问题和获取信息。我的功能是基于预先训练的大规模语言模型，通过对输入文本的响应来回答问题或完成任务。如果输出的是 Anaconda 中安装的 Python 的路径（例如：/home/user/anaconda/bin/python），则说明 Anaconda 环境已经成功激活了。ChatGLM-6B：你好👋！

LLM-微调-方案（一）：Lora【案例：chatGLM-Lora】【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】

u013250861的博客

06-05

1267

【代码】Lora微调：chatGLM-Lora【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】

ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现