ChatGLM-6B 本地部署指南！

最新推荐文章于 2024-07-30 11:40:46 发布
最新推荐文章于 2024-07-30 11:40:46 发布
阅读量1.8k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Datawhale/article/details/130776091
版权

 Datawhale干货 

作者：宋志学，Datawhale成员

注意事项-写在最前

  • 显卡需要至少6GB的显存

  • 使用GPU部署模型需要自行安装torch和与自己显卡匹配的CUDA、cudnn

下载ChatGLM-6B

在GitHub上下载chatglm-6b的源码，地址如下

https://github.com/THUDM/ChatGLM-6B

开源双语对话语言模型  | An Open Bilingual Dialogue Language Model

可以使用git clone代码，也可以下载代码压缩包到本地（看你心情）

9c542dd6fea1cafd8dae6de1f7692ce3.png

然后，安装一些包。

pip install -r requirements.txt

下载int4模型

最低0.47元/天 解锁文章
Datawhale
关注
【大语言模型】10分钟快速了解并部署ChatGLM-6B
小哲的博客
06-25 1428
ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。ChatGLM-6BChatGLM-6B具备的能力自我认知：“你是谁”，“介绍一下你的优点”提纲写作。
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
程序员光剑
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
ChatGLM-6B环境部署搭建
labamm的博客
07-02 1598
本地模型启动,需要把从Hugging Face Hub加载改为本地路径加载,在/root/ChatGLM-6B/下的cli_demo.py和web_demo.py文件中进行修改。虚拟环境中，运行nvcc -V返回的是系统cuda版本(/usr/local/cuda)，想要查看虚拟环境的cuda版本，使用print(torch.version.cuda)cuda和pytorch版本关系如下要求 https://pytorch.org/get-started/previous-versions/
基于ChatGLM-6B 部署本地私有化ChatGPT
最新发布
python12345678_的博客
07-30 1240
基于ChatGLM-6B 部署本地私有化ChatGPT操作系统：CentOS 7.6/Ubuntu （内存：32G）显卡配置：2x NVIDIA Gefore 3070Ti 8G (共16G显存)Python 3.8.13 （版本不要高于3.10，否则有些依赖无法下载，像paddlepaddle 2.4.2在高版本Python还不支持）直接下载chatGLM-6B https://github.com/THUDM/ChatGLM-6B。
【本地逐步部署教程】清华ChatGLM-6B本地部署，适合小白和具备一定基础的大模型尝试者
weixin_45666317的博客
07-11 1304
详细讲解Anaconda的安装、虚拟环境的创建和镜像源配置、ChatGLM-6B模型代码和模型参数的下载、CUDA驱动包括CuDNN的安装、ChatGLM-6B运行
本地部署 ChatGLM-6B
engchina的专栏
05-06 1937
本地部署 ChatGLM-6B
大模型ChatGLM-6B实现本地部署
qq_15060477的博客
03-04 1450
1、 确保你的电脑中已安装git，git lfs。2、确保你的电脑满足以下任一一种配置：（1）内存不低于32G，大显存显卡无要求。（2）内存不低于16G，显存不低于8G。3、若满足2(2)，则请确保你的显卡驱动和cuda、cudnn已经安装，并且相互之间版本对应。若满足2(1)，则继续继续往下看。
ChatGLM-6B的windows本地部署使用
洒家
06-05 3643
ChartGPT最近特别火，但是收费，而且国内访问不太方便，所以找了个类似的进行学习使用 ChatGLM-6B，开源支持中英文的对话大模型，基于 General Language Model (GLM) 架构，具有62亿参数，简单说非常不错，可能和chart GPT比较有些差距，但是开源免费，并且可以在本地部署，支持中文，这就很nice了
清华ChatGLM-6B本地GPU推理部署
https://www.zhihu.com/people/mu-zi-zhi-6-28
04-24 3146
是一个开源的、支持中英双语的对话语言模型，基于General Language Model（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。
新手在消费级GPU上本地部署chatGLM-6B
weixin_41784510的博客
01-27 3629
下载大模型到本地：从 Hugging Face Hub 下载模型需要先[安装Git LFS](https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage)，然后在终端运行git clone。到英伟达官网https://developer.nvidia.com/cuda-toolkit-archive，下载合适的驱动。
chatglm-6b源码（不带模型）
10-08
"ChatGLM-6B源码（不带模型）"是一个与自然语言处理相关的软件或插件项目，其核心是ChatGLM模型的实现。ChatGLM，全称为Chat Generative Language Model，是一种用于生成对话的大型语言模型。源代码没有包含预训练的...
01 ChatGLM-6B部署与微调教程
qq_33169644的博客
03-07 1470
ChatGLM-6B部署与微调教程
如何在本地部署运行ChatGLM-6B
JXYZH11的博客
05-06 2010
本篇技术博客将向您介绍如何使用 ChatGLM-6B 进行聊天，涵盖了获取运行代码、下载模型、环境配置以及网页版 Gradio Demo 的配置和运行等方面。通过这篇技术博客，您将了解如何在个人电脑上使用 ChatGLM-6B 进行聊天，并且可以根据自己的需要对其进行修改和扩展。
自然语言开源大模型ChatGLM-6B的本地部署
m0_63069076的博客
05-24 696
新手向：在自己的电脑上部署自然语言开源大模型ChatGLM-6B，动手感受ChatGPT的魅力
把huggingface/transformers的模型文件下载到本地
Talk Is Cheap
06-14 3005
python代码 自动下载模型实现和参数。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。参考 https://github.com/THUDM/ChatGLM-6B 的README。以chatglm-6b为例，然后运行。先安装Git LFS。
LLM大模型ChatGLM-6B 本地部署与运行
qq_45591302的博客
07-17 939
本文详细介绍清华开源项目 ChatGLM 本地部署的详细教程。清华开源项目 ChatGLM-6B 已发布开源版本，这一项目可以直接部署在本地计算机上做测试，无需联网即可体验与 AI 聊天的乐趣。
ChatGLM-6B (介绍以及本地部署)
qq128252的博客
03-17 2万+
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
类ChatGPT模型ChatGLM-b6本地部署实践
牧羊人的方向
04-18 4623
国外ChatGPT火爆持续，前一段时间百度发布“文心一言”还没有全面放开测试，这不阿里“通义千问”又悄然而至，国内大模型AI产品渐渐浮出水面。早在2022年8月份时候清华大学的对话语言模型ChatGLM-6B就发布并开源，本文简要介绍ChatGLM-6B在本地环境的部署实践。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值