ChatGLM模型部署分享

 

 

 

ChatGPT云炬学长

​关注

先看结果：

 

部署问题：显卡太小无法加载使用，期间也换了N个显卡，太穷了!>-<

模型描述：

清华开源项目ChatGLM-6B发布。这一项目可以直接部署在本地计算机上，无需联网即可让你体会AI聊天的乐趣。

据官方介绍，ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

过程如下：

第一步：安装Python

此步骤就不细谈了，具体安装步骤请看如下文章

初入Python，不得不做的事

第二步：下载chatglm模型包

下载地址：huggingface.co/THUDM/chatglm-6b/tree/main

将所有文件下载到本地，超过1GB的模型文件如果觉得下的慢可以访问cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/，将所有下载的文件放在 chatglm-6b 目录下。

第三步：下载程序包

下载地址：github.com/THUDM/ChatGLM-6B

将第二步下载的模型包放在 ChatGLM-6B-main 目录下

第四步：下载依赖模块

进入 ChatGLM-6B-main 目录，在上方地址栏输入cmd，打开控制台命令行，分别输入以下命令 pip install -r requirements.txt 和 pip install gradio 安装所有需要的依赖包，安装完成后运行web_demo.py，然后复制图中红框中的内容到浏览器即可使用

注意

1、如果出现报错 Could not find module 'nvcuda.dll' 或者 RuntimeError: Unknown platform: darwin (MacOS) ，请打开并编辑 web_demo.py 文件，将所有的 THUDM/chatglm-6b 替换成 chatglm-6b。

2、该项目默认使用显卡FP16模式运行，此模式需要12G以上的显卡才能正常运行，所以需要手动修改其中的代码

编辑于 2023-05-21 19:56・IP 属地辽宁