win 本地部署ChatGLM3-6B微调及推理过程

已于 2024-04-01 12:22:22 修改
阅读量342 收藏 6
点赞数 9
文章标签： 语言模型 nlp
于 2024-04-01 12:20:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40078854/article/details/137226677
版权

1. 操作系统及显卡信息

2. ChatGLM3 下载

2.1 下载源代码

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

2.2 下载模型

魔搭社区

git lfs install git clone 魔搭社区

3. 开始微调

3.1 参考官网ChatGLM3/finetune_demo/README.md at main · THUDM/ChatGLM3 · GitHub
3.2 微调过程

3.2 微调结果

3.4 微调结果与使用未微调的模型结果对比

4. 部署到gradio_demo,使用webui来调试和调用

4.1 使用未微调的模型调试结果

4.2使用未微调的模型调试结果

weixin_40078854
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
weixin_54626591的博客
12-27 2473
ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
程序员光剑
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
chatglm3-6b 可跑通的数据
04-01
chatglm3-6b 可跑通的数据，win 本地部署ChatGLM3-6B微调及推理过程， 部署到gradio_demo,使用webui来调试和调用
基 于LLM训 练 ChatGlm3大 模 型 部 署 微 调 教 程
weixin_45353903的博客
04-25 884
基于LLM训练ChatGlm3大模型部署微调
ChatGLM3-6B本地部署及微调-微调
江冷易水寒
02-16 255
参考：1、2、
ChatGLM3-6B本地部署及微调-部署
江冷易水寒
01-03 2927
学术小白快速本地部署大模型ChatGLM3-6B
【工程记录】ChatGLM3-6B微调实践（Windows）
LZXCyrus的博客
12-19 4191
仅作个人学习记录用。本文记录ChatGLM3-6B在Windows操作系统中的微调实践。
ChatGLM3-6B部署+高效微调
m0_65156252的博客
03-18 2494
法一：针对.bin文件点击进入模型权重页面后，鼠标右击download选择复制链接地址，进入终端后使用wget 链接地址方式下载。7，模型下载：git clone https://huggingface.co/THUDM/chatglm3-6b。下载前需要先安装git-lfs工具（拉取大文件）：apt-get install git-lfs。将THUND/chatglm3-6b修改为../chatglm3-6b。5，升级pip版本：python -m pip install --upgrade pip。
ChatGLM3-6B部署与微调及微调后使用
lys_xm的博客
05-10 1350
记录ChatGLM3-6B部署及官方Lora微调示例详细步骤及如何使用微调后的模型进行推理。
Windows10下史上最新版本最详细ChatGLM36B环境搭建详细步骤
11-11
在本文中，我们将详细介绍如何在Windows 10环境下搭建最新的ChatGLM3-6B模型的运行环境。ChatGLM3-6B是由智谱AI和清华大学KEG实验室联合发布的中英双语对话模型，其在多项指标上表现出显著的性能提升，包括更高的...
chatglm2-6b-int4大语言模型家用电脑部署
书写心得，分享感悟
08-19 1145
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
昇腾glm3大模型lora微调及推理
XD的博客
03-29 1458
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：更强大的基础模型，更完整的功能支持，更全面的开源序列。
ChatGLM3在windows10上部署与调试
11-24 2238
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。一、ChatGLM3介绍。二、ChatGLM3下载。
ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）
m0_54515450的博客
07-09 1万+
ChatGLM2-6B作为最新的中文开源模型，非常吸引人去探索，谁不想有一个本地chat呢~ 本文告诉你如何部署ChatGLM2-6B，介绍自己遇到的困难和解决方案。同时介绍微调方法p-tuning！
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 4751
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
LLM大语言模型（一）：ChatGLM3-6B本地部署
hugo_lei的博客
12-03 4901
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
ChatGLM3 快速使用（推理部署）
GLM_ZhiPuAI的博客
03-20 1066
这份文档旨在让开发者在五分之内体验上 ChatGLM3-6B 模型。
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1481
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
开源模型应用落地-chatglm3-6b-批量推理-入门篇（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-10 2273
使用chatglm3进行批量推理，提升吞吐量，减少延迟
chatglm3-6b微调实践
最新发布
06-14
ChatGLM3-6B是来自阿里云的一款预训练语言模型，它在M6的基础上进行了优化和扩展，具有更高的参数量和更强大的语言理解能力。微调ChatGLM3-6B意味着将其应用到特定任务或领域中，以提高其在该领域的性能。 **微调ChatGLM3-6B的实践步骤通常包括：** 1. **选择任务**：确定你想让模型适应的具体任务，如文本分类、问答、机器翻译或文本生成等。 2. **准备数据**：准备用于微调的数据集，确保它与目标任务的格式匹配。数据集应该包含输入（问题或句子）和对应的输出标签或生成的正确答案。 3. **加载模型**：从阿里云或其他提供的平台下载预训练的ChatGLM3-6B模型，这通常是一个权重文件。 4. **搭建环境**：使用支持模型加载的框架，如PaddlePaddle、Hugging Face的Transformers或TensorFlow，配置好模型的加载和推理环境。 5. **调整超参数**：设置微调过程中的学习率、批量大小、训练轮数等关键参数。这可能需要根据你的计算资源和数据规模进行调整。 6. **开始微调**：使用准备好的数据对模型进行训练，让模型学习任务相关的特征。 7. **评估和验证**：定期在验证集上评估模型性能，确保微调过程有效且没有过拟合。 8. **部署模型**：微调完成后，将模型集成到实际应用中，如API服务或前端应用。 **相关问题--:** 1. ChatGLM3-6B相比基础模型有哪些优势？ 2. 在微调过程中如何避免过拟合？ 3. 如何根据不同的任务需求选择合适的微调策略？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值