win 本地部署ChatGLM3-6B微调及推理过程

已于 2024-04-01 12:22:22 修改
阅读量316 收藏 5
点赞数 9
文章标签： 语言模型 nlp
于 2024-04-01 12:20:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40078854/article/details/137226677
版权

1. 操作系统及显卡信息

2. ChatGLM3 下载

2.1 下载源代码

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

2.2 下载模型

魔搭社区

git lfs install git clone 魔搭社区

3. 开始微调

3.1 参考官网ChatGLM3/finetune_demo/README.md at main · THUDM/ChatGLM3 · GitHub
3.2 微调过程

3.2 微调结果

3.4 微调结果与使用未微调的模型结果对比

4. 部署到gradio_demo,使用webui来调试和调用

4.1 使用未微调的模型调试结果

4.2使用未微调的模型调试结果

weixin_40078854
关注
  • 9
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Window CPU环境本地部署ChatGLM3-6B模型
andy20160103的博客
05-03 256
在window CPU环境部署chatGLM3-6B大模型
chatglm3-6b.zip
03-18
2. **模型微调**：将chatglm3-6b和bge-large-zh模型在特定的问答数据集上进行微调，使它们适应知识库问答的场景，提高对特定领域问题的理解和回答能力。 3. **融合策略**：将两个模型的输出进行融合，可以通过投票...
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
m0_73679391的博客
03-19 9603
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。
ChatGLM3-6B本地部署及微调-微调
江冷易水寒
02-16 230
参考：1、2、
ChatGLM3-6B本地部署及微调-部署
江冷易水寒
01-03 2800
学术小白快速本地部署大模型ChatGLM3-6B
【工程记录】ChatGLM3-6B微调实践（Windows）
LZXCyrus的博客
12-19 3883
仅作个人学习记录用。本文记录ChatGLM3-6B在Windows操作系统中的微调实践。
ChatGLM3-6B部署+高效微调
m0_65156252的博客
03-18 2434
法一：针对.bin文件点击进入模型权重页面后，鼠标右击download选择复制链接地址，进入终端后使用wget 链接地址方式下载。7，模型下载：git clone https://huggingface.co/THUDM/chatglm3-6b。下载前需要先安装git-lfs工具（拉取大文件）：apt-get install git-lfs。将THUND/chatglm3-6b修改为../chatglm3-6b。5，升级pip版本：python -m pip install --upgrade pip。
ChatGLM3-6B部署与微调及微调后使用
最新发布
lys_xm的博客
05-10 1109
记录ChatGLM3-6B部署及官方Lora微调示例详细步骤及如何使用微调后的模型进行推理。
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 ...7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
ChatGLM3+更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数
01-11
在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外...
本地部署ChatGLM2-6B，chatglm2-6b-int4
11-15
本地部署ChatGLM2-6B意味着将这个大模型安装在个人计算机或者服务器上，而不是依赖云服务。这对于需要高效、低延迟的交互场景尤为重要，例如在实时聊天应用中，本地部署可以提供更快的响应速度，同时避免了网络延迟...
Chatglm2-6b-int4资源文件
10-12
Chatglm2-6b-int4资源文件
基 于LLM训 练 ChatGlm3大 模 型 部 署 微 调 教 程
weixin_45353903的博客
04-25 771
基于LLM训练ChatGlm3大模型部署微调
ChatGLM3在windows10上部署与调试
11-24 2214
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。一、ChatGLM3介绍。二、ChatGLM3下载。
ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）
热门推荐
m0_54515450的博客
07-09 1万+
ChatGLM2-6B作为最新的中文开源模型，非常吸引人去探索，谁不想有一个本地chat呢~ 本文告诉你如何部署ChatGLM2-6B，介绍自己遇到的困难和解决方案。同时介绍微调方法p-tuning！
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 4576
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
LLM大语言模型（一）：ChatGLM3-6B本地部署
hugo_lei的博客
12-03 4646
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
ChatGLM3 快速使用（推理部署）
GLM_ZhiPuAI的博客
03-20 1024
这份文档旨在让开发者在五分之内体验上 ChatGLM3-6B 模型。
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1399
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
ChatGLM2-6B微调
08-14
回答: ChatGLM2-6B是一个AI模型，引用提到了对ChatGLM2-6B进行P-tuning微调的过程。微调是指在已有的预训练模型基础上，使用特定的数据集进行进一步的训练，以提高模型在特定任务上的性能。在这个例子中，ChatGLM2-6B通过本地部署和本地微调的方式被成功跑通了。具体来说，本地部署是指将模型部署到本地环境中进行使用，而本地微调是指在本地环境中使用特定的数据集对模型进行微调训练。引用中提到了在Windows系统上跑通了ChatGLM2-6B。引用则提到了进行微调时可以更换模型路径以及注意微调目前只支持单轮对话的回复。总之，ChatGLM2-6B经过微调可以在特定任务上表现更好。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）](https://blog.csdn.net/m0_54515450/article/details/131617081)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战](https://blog.csdn.net/dream_home8407/article/details/130099656)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值