01 ChatGLM-6B部署与微调教程

已于 2024-03-08 09:55:04 修改
阅读量1.5k 收藏 29
点赞数 45
分类专栏： AI大模型 文章标签： ai 语言模型
于 2024-03-07 16:34:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33169644/article/details/136536585
版权
本文档介绍了ChatGLM-6B模型的部署和微调过程，包括如何在ModelWhale平台进行操作，以及结合langchain实现本地知识库问答。教程覆盖了从部署到高效微调的详细步骤，旨在帮助数据科学从业者和爱好者提升实践能力。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
陈布衣
关注
专栏目录
ChatGLM-6B部署、实战与微调
m0_47867638的博客
06-29 1324
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM-6B部署和微调实例
weixin_45734379的博客
01-17 1985
ChatGLM-6B是本人尝试使用和微调的第一个大语言模型，自我感觉该模型很适合作为大语言模型的入门级选手，无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署ChatGLM-6B，以及ChatGLM-6B推理和P-tuning v2微调基本步骤，希望可以帮助大家使用ChatGLM-6B。
LangChain + ChatGLM2-6B 搭建个人专属知识库
最新发布
程序员鑫港的博客
10-23 1164
•更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。•更长的上下文。
ChatGLM-6B实战微调（P-tuning-v2、LORA）
qq_47982709的博客
04-07 1493
LoRA核心思想是在原始预训练语言模型旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank（预训练模型在各类下游任务上泛化的过程其实就是在优化各类任务的公共低维本征（low-dimensional intrinsic）子空间中非常少量的几个自由参数）。在推理时，将左右两部分的结果加到一起即可，h=Wx+ABx=(W+AB)x，所以，只要将训练完成的矩阵乘积AB跟原本的权重矩阵W加到一起作为新权重参数替换原始预训练语言模型的W即可，不会增加额外的计算资源。
ChatGLM-6B 部署与使用——打造你的专属GLM
Skrrapper的博客
09-23 1197
ChatGLM-6B 是清华大学与智谱 AI 开源的一款对话语言模型，基于 General Language Model (GLM) 架构，参数达到 62 亿，因其卓越的语言理解与生成能力，受到广泛关注。
自然语言处理 微调ChatGLM-6B大模型
guoqingru0311的博客
09-04 1483
自然语言处理 微调ChatGLM-6B大模型
ChatGLM-6B模型微调实战（以 ADGEN (广告生成) 数据集为例，序列长度达 2048）
消极的人永远是对的，积极的人选择勇往直前
05-03 7371
ChatGLM-6B模型微调实战（以 ADGEN (广告生成) 数据集为例）
ChatGLM-6B代码微调实战训练 完整版
mqdlff_python的博客
01-23 1878
ChatGLM-6B代码微调实战训练 完整版
ChatGLM-6B大模型微调实战总结
08-02 1001
作者简介：赵辉，区块链技术专家，精通各种联盟链、公链的底层原理，拥有丰富的区块链应用开发经验。上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手。在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。安装...
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 ...7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
chatglm3-6b.zip
03-18
《构建基于大模型的智能问答系统——以chatglm3-6b与bge-large-zh为例》 在当今的信息时代，智能问答系统已经成为人们获取知识、解决问题的重要工具。特别是随着深度学习技术的发展，大规模预训练语言模型在智能...
LLM - ChatGLM-6B Lora 微调与推理
BITDDD小栈
07-20 3537
ChatGLM-6B Lora 微调与推理流程详解。
ChatGLM：基于ChatGLM-6B使用ptuning进行微调，实现类instruction的效果
panjiapengfly的博客
03-11 310
基于ChatGLM-6B使用ptuning进行微调，实现类instruction的效果
ChatGLM3-6B模型微调笔记（Linux版）
qq_46368503的博客
03-30 1129
项目地址：https://github.com/THUDM/ChatGLM3魔塔社区：https://modelscope.cn软件:pytorch2.1.2 tensorflow2.14.0 py310硬件：内存32G以上（最低） GPU 1*NVIDIA V100 显存16G以上（最低）服务器：阿里云（https://pai.console.aliyun.com/（免费3个月领取）） 腾讯云，AutoDL(https://www.autodl.com/【便宜适用】)
ChatGLM-6B使用与微调
python_plus的博客
07-13 1035
ChatGLM-6B使用与微调
微调chatGLM2-6B大模型
qq_51987242的博客
08-17 1221
感觉现在大模型更新实在太快了，作为一名NLP工程师真的需要不断学习，永远都是学不完的新知识，刚刚入门，如果有什么不对的地方欢迎大家和我讨论！！！
【大模型】微调ChatGlm3-6b
Dong_ZH的博客
02-26 2405
指令微调ChatGlm3-6b。微调教程在github地址中给出，微调环境是Qwen提供的docker镜像为环境。镜像获取方式：docker pull qwenllm/qwen:cu117。
ChatGLM-6B 部署与 P-Tuning 微调实战
程序员树先生的博客
05-06 1409
自从 ChatGPT 爆火以来，树先生一直琢磨想打造一个垂直领域的 LLM 专属模型，但学习文本大模型的技术原理，从头打造一个 LLM 模型难度极大，所以这事儿就一直搁置了。但最近一个月，开源文本大模型如雨后春笋般接踵而至，例如 LLaMA、Alpaca、Vicuna、 ChatGLM-6B 等。树先生觉得这个事有着落了，毕竟站在巨人的肩膀上，离成功就会更近一步。
ChatGLM3-6B模型介绍及微调
热门推荐
dzysunshine的博客
12-14 1万+
对 ChatGLM3-6B-Base 的测试中，BBH 采用 3-shot 测试，需要推理的 GSM8K、MATH 采用 0-shot CoT 测试，MBPP 采用 0-shot 生成后运行测例计算 Pass@1 ，其他选择题类型数据集均采用 0-shot 测试。官方对 Base版提供的是基于Lora的微调。不同的部署方式，第一种只有Chat 对话模式，第二种将对话模式，工具模型和代码解释器模型进行了集成。转换后，context是对话的上文，也就是模型的输入，target是对话的下文，也就是模型的输出。
ChatGLM-6B 部署与 P-Tuning 微调后生成api.py接口
09-17
部署 ChatGLM-6B 并微调至特定应用场景，如P-Tuning（Prompt Tuning），通常需要经过以下步骤： 1. **下载模型库**：首先从官方或提供者的仓库下载包含 ChatGLM-6B 的模型库，比如 Hugging Face的transformers库。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值