中文能力赶超GPT4模型ChatGLM2-6B最新发布，教你使用 CPU 本地安装部署运行实现

最新推荐文章于 2024-06-02 18:21:33 发布
最新推荐文章于 2024-06-02 18:21:33 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： GPT-4 文章标签： 人工智能 gpt-3 深度学习 神经网络 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41259045/article/details/131494621
版权

ChatGLM2-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需13GB显存，INT4 量化级别下最低只需 6GB 显存）虽然智商比不过 openAI 的 ChatGPT 模型，但是最近最新发布的ChatGLM2-6B 是个在部署后可以完全本地运行，可以自己随意调参，配合API模式可以实现自行构建知识库。

 

目录

前言

部署过程

硬件与软件准备

了解本专栏 订阅专栏 解锁全文 超级会员免费看
恒TBOSH
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
ChatGLM2_6b安装
沧海之巅的专栏
09-07 291
在【api.py】、【web_demo.py】与【cli_demo.py】这3个文件中，指定模型文件的位置， AutoModel.from_pretrained(**量化后的模型：**如果你的内存不足，可以直接加载量化后的模型，即【chatglm2-6b-int4】文件夹内的模型。, trust_remote_code=True) 原文中模型路径的写法会实时去下载模型，建议修改成指向本地已经下载好的模型文件。【安装文件_备用】中可能用到的安装文件，如果没有安装的，可以安装一下。
GPT2-Chinese.zip_gpt-2_gpt2 小模型_gpt2 模型下载_gpt2-Chinese_gpt2代码
07-15
中文的GPT2模型训练代码，基于Pytorch-Transformers，可以写诗，写新闻，写小说，或是训练通用语言模型等。
大语言模型的微调和推理-baichuan7B, chatglm2-6B, Qwen-7B-chat.zip
04-22
大语言模型的微调和推理——baichuan7B, chatglm2-6B, Qwen-7B-chat.zip微调：基于nation-gpt-ie.json文件进行微调，微调代码见baichuan_sft.py文件 推断：微调代码见baichuan_infer.py文件,给出一个示例如下 微调：基于nation-gpt-ie.json文件进行微调，微调代码见chatglm2_sft.py文件 推断：微调代码见chatglm2_infer.py文件,给出一个示例如下 微调：基于nation-gpt-ie.json文件进行微调，微调代码见qwen_sft.py文件 推断：微调代码见qwen_infer.py文件,给出一个示例如下 大语言模型的微调和推理——baichuan7B, chatglm2-6B, Qwen-7B-chat.zip微调：基于nation-gpt-ie.json文件进行微调，微调代码见baichuan_sft.py文件 推断：微调代码见baichuan_infer.py文件,给出一个示例如下 微调：基于nation-gpt-ie.json文件进行微调，微调代码见c
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%_chatglm-6b cpu
2301_79655576的博客
04-10 713
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。模型量化到int4是一种将神经网络模型中的参数从浮点数格式调整为4位精度的整数格式的技术，可以显著提高硬件设备的效率和速度，并且适用于需要在低功耗设备上运行的场景。ChatGLM-6B是清华开发的中文对话大模型的小参数量版本，目前已经开源了，可以单卡部署在个人电脑上，利用。
算法部署-使用TensorRT部署GPT-J-6B大模型-支持int8推理-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT部署GPT-J-6B大模型_支持int8推理_优质大模型部署项目实战
ChatGLM2-6B本地部署
weixin_52703185的博客
06-27 2205
ChatGLM2-6B相较于第一代还是有较大的提升，按照Readme.md进行部署问题还是相对简单，本篇文章记录了我的一个部署过程，期间还是遇到了几个问题，但都很快就解决了。
极简教学 | ChatGLM2-6B在只有cpu的linux服务器部署
m0_74412515的博客
08-04 1436
1.conda创建虚拟环境2.激活虚拟环境3.使用cd命令进入对应的文件夹，对于我来所是如下命令4.修改cli_demo文件将5，6行添加自己下载的模型文件的路径，第六行结尾的.cuda()改为.float()如果一切正常的话就成功啦！如果提示No model named xxx,可以尝试pip install xxx来解决！t=N6B9。
本地CPU部署运行ChatGLM2-6B模型
zcc_0015的专栏
08-22 920
大模型技术
ChatGLM2-6b小白部署教程(windows系统，16G内存即可，对显卡无要求，CPU运行)
IWBE的专栏
07-08 8588
近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM)，本文整理出适合真正平民级玩家的部署教程(不需要GPU,系统为windows)
ChatGLM2-6B安装详解（Windows/Linux）及遇到的问题解决办法
热门推荐
满目星辰
06-29 1万+
最近ChatGLM-6B发布了第二代ChatGLM2-6B，于是果断部署了一下试试水。下面讲解详细部署过程，并讲解部署时候遇到的问题以及解决办法。
【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型，速度也特别的快可以本地部署，把现有项目进行AI的改造。
freewebsys的专栏
08-16 4442
也可以支持英文，但是最后几个字有点问题。最后有点乱码，不知道是不是因为模型裁剪的问题。同时也有可能是原始素材就有这个问题。可以使用docker 在 CPU上面运行 chatglm ，同时安装了 pytorch 的CPU 版本，镜像缩小到 1.5 G了。并且速度也是非常的快了。可以在非GPU的机器上面运行了。可以解决很多问题呢。
GPT4ALL AI 大模型本地部署
01-02
大模型本地部署开源包，支持将开源的大模型在本地机器上进行部署，同时提供chat客户端，可以免费使用大语言模型，支持中文，可实现类似chatGPT的效果，支持各种中英文翻译、支持各种编程语言的自动代码生成，支持...
Developing Apps with GPT-4 and ChatGPT-使用GPT-4和ChatGPT开发应用程序-by
06-08
2023年6月新书，适合中高级技术人员参考学习使用。主要内容： Chapter 1. GPT-4 and ChatGPT Essent?als Chapter 2. Taking a Deep Dive into the GPT-4 and ChatGPT APIs Chapter 3. Advanced Techniques to Unlock...
一键部署开源AI(人工智能对话模型)(支持显卡或CPU加内存运行)--ChatGLM2-6B
qq_45748758的博客
10-13 428
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练
带你学习部署最新版清华第二版chatglm：ChatGLM2-6B+使用 CPU 本地安装部署运行 ChatGLM2-6B
古月哲亭
06-28 7839
3 chaglm2-6b本地部署ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。
手把手带你linux部署清华大学大模型最新版 chaglm2-6b
古月哲亭
06-28 5216
如果安装出现问题，可尝试手动分别安装torch1 # 1第一步安装虚拟环境并激活环境。
强化学习——学习笔记
qq_52302919的博客
05-27 1417
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
pytorch学习笔记5
最新发布
drarad的博客
06-02 827
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1346
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
手把手教你部署chatglm2-6b
07-29
从CSDN下载chatglm2-6b模型的权重文件，并将其解压缩到你选择的目录中。 步骤4：创建Flask应用程序 在你选择的目录中创建一个名为app.py的Python文件，并使用以下代码创建一个基本的Flask应用程序： ```python ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

恒TBOSH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值