手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%_chatglm-6b cpu(2)

最新推荐文章于 2024-06-10 18:44:46 发布
最新推荐文章于 2024-06-10 18:44:46 发布
阅读量696 收藏 7
点赞数 18
分类专栏： 程序员 文章标签： chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83641634/article/details/137612237
版权
本文详细介绍了如何在本地CPU环境下安装和部署清华大模型ChatGLM-6B，强调了安装TDM-GCC并勾选OpenMP的重要性。通过C++程序进行权重量化，减小模型内存占用并提高推理速度。通过编译和运行web_demo.py文件完成部署，并对比了ChatGLM与ChatGPT在不同问题上的表现，认为ChatGLM达到ChatGPT约80%的水平。此外，作者分享了自己的学习与工作经历，并提供了一份全面的Python开发学习资源。
摘要由CSDN通过智能技术生成

CPU版本的安装还需要安装好C/C++的编译环境。这里大家可以安装TDM-GCC。

下载地址：https://jmeubank.github.io/tdm-gcc/，大家选择选取TDM-GCC 10.3.0 release下载安装。特别注意：安装的时候在选项gcc选项下方，勾选openmp，这个很重要，踩过坑，直接安装的话后续会报错。

d44f6eb455ef4737b7868b9996bbad31.png

1d3078b2262049028df6ae52a6370e55.png

安装完在cmd中运行”gcc -v”测试是否成功即可。

8e3df00558a64933ba2a3fe0eafef770.png

安装gcc的目的是为了编译c++文件,quantization_kernels.c和quantization_kernels_parallel.c

最低0.47元/天 解锁文章
2401_83641634
关注
专栏目录
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解）
c1007857613的专栏
07-03 1875
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解）
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
weixin_42878111的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
ChatGLM-6B本地cpu部署
feinifi的博客
05-10 4408
chatglm本地cpu运行环境部署。
本地CPU搭建知识库大模型来体验学习Prompt Engineering/RAG/Agent/Text2sql
caicongyang
04-24 1389
本地CPU搭建知识库大模型来体验学习Prompt Engineering/RAG/Agent/Text2sql
一文吃透多模态：多模态大模型的探索 五大研究方向与十大应用领域！
kaka0722ww的博客
04-07 5367
理想中的多模态大模型具备跨模态的泛化理解和生成能力，其更符合人类感知世界的方式，其或能进一步打开AI能力的上限。产业界也在积极探索多模态大模型可行的技术路径，在多模态领域“复刻”大语言模型的成功。但目前多模态大模型的技术栈也尚未收敛，多模态学习和跨模态对齐仍为技术难点，未来产业发展仍有无限可能。在大模型兴起之后，产业也试图在图像、视频、音频等更多模态领域复现“Scaling Law”的成功，继续实现大模型的“智能涌现”。• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
离线AI聊天清华大模型(ChatGLM3)本地搭建指南
2401_84204413的博客
06-03 1063
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
本地部署清华大模型 ChatGLM3
热门推荐
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
【本地逐步部署教程】清华ChatGLM-6B本地部署，适合小白和具备一定基础的大模型尝试者
weixin_45666317的博客
07-11 1344
详细讲解Anaconda的安装、虚拟环境的创建和镜像源配置、ChatGLM-6B模型代码和模型参数的下载、CUDA驱动包括CuDNN的安装、ChatGLM-6B运行
清华 chatglm 本地部署
歌布衣的博客
06-14 334
requirements.txt 在安装的chatglm目录下。安装 pytorch。
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 7586
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
手把手一起在本地CPU上部署ChatGLM3-6B
鲁棒最小二乘支持向量机
02-02 3392
本地CPU上部署ChatGLM-6B
本地CPU部署运行ChatGLM2-6B模型
zcc_0015的专栏
08-22 1002
大模型技术
【全网最简单】5分钟 构建自己的大模型网站，在Web中运行清华对话大模型ChatGlm-6B
最新发布
otbc1的博客
06-10 477
【全网最简单】5分钟 构建自己的大模型网站，在Web中运行清华对话大模型ChatGlm-6B
使用 CPU 本地安装部署运行 ChatGLM-6B 获得自己的专属 AI 宠物
chaishen10000的专栏
06-18 2990
ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4 量化级别下最低只需 6GB 显存）虽然智商比不过 openAI 的 ChatGPT 模型，但是ChatGLM-6B 是个在部署后可以完全本地运行，可以自己随意调参，几乎没有任何审查限制，也几乎没有对话轮数限制的模型。ChatGLM-6B 模型用来调教成猫娘，魅魔什么的再合适不过了。
本地化部署大语言模型 ChatGLM
Maddie_Mo的博客
04-19 1万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。暂时先这样吧，如果有时间的话就会更新模型微调文章以及抽时间更新GLM130B的部署，实在看不明白就留言，看到我会回复的。路漫漫其修远兮，与君共勉。
【妈妈级】清华ChatGLM2-6B本地部署搭建及测试运行，0基础小白也学得会
ouhuixiong的博客
08-01 1524
部署只是开始，如果想继续微调个人/企业垂直能力的model我搭建了一个数据共享交换平台，目前已收录中文对话、金融、医疗、教育、儿童故事五个领域优质数据集，还可以通过会员之间共享，工众后台：“数据集”下载。你可能像我们NLP学习群中的同学一样，遇到各种报错或问题，我每天挑选5条比较有代表性的问题及解决方法贴出来，供大家避坑；每天更新，工众后台：“问答3000条”获清单汇总。
ChatGLM：CPU版本如何安装和部署使用
panjiapengfly的博客
03-08 787
前段时间想自己部署一个ChatGLM来训练相关的物料当做chatgpt使用，但是奈何没有gpu机器，只能使用cpu服务器尝试使用看看效果我部署的这个项目，使用的是LLM（ChatGLM）+embedding(GanymedeNil/text2vec-large-chinese)+langChain的组合。
【大语言模型】Docker部署清华大学ChatGLM3教程
Father_of_Python的博客
11-14 3419
Docker部署清华大学ChatGLM3教程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值