本地构建GLM

本地构建GLM

---

必要需求：

GPU:NVIDIA 的GPU，6G以上显存。

或

使用CPU，内存最好大于 16G

官方要求

官方要求的硬件需求

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

前期准备

1. 安装最新且兼容 的NVIDIA 显卡驱动

2. 安装 cuda ，下载工具，会自动匹配驱动版本

CUDA Toolkit - Free Tools and Training | NVIDIA Developer

3. 下载 pytorch

   3.1查看 cuda 版本

C:\Users\Legion>nvidia-smi
Thu Apr  6 12:39:25 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 512.36       Driver Version: 512.36       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   38C    P8    11W /  N/A |      0MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     51872      C   D:\ToDesk\ToDesk.exe            N/A      |
+-----------------------------------------------------------------------------+
CUDA Version: 11.6则是该系统版本

3.2打开 pytorch 官网

Start Locally | PyTorch

这里以 Windows 、直接使用 python的包管理工具 pip为例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kVMeJmrh-1680790894847)(1.本地构建chatGlm/image-20230406124320552.png)]

这里没有 CUDA 11.6的，那我们去找历史版本即可。

点击网页中 ##install previous versions of PyTorch

复制这串命令下载安装即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-saOWgOxX-1680790894848)(1.本地构建chatGlm/image-20230406124502564.png)]

4. 测试是否成功安装

python 
import torch
torch.cuda.is_available()
# 返回 True 则安装成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rb90lJ6B-1680790894848)(1.本地构建chatGlm/image-20230406124753728.png)]

一、下载安装必要环境

1.主项目

THUDM/ChatGLM-6B: ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Language Model (github.com)

新建一个文件夹，然后使用git命令创建即可。

使用

#Linux mkdir chatGlm 
#windows 直接手动创建
git clone  https://github.com/THUDM/ChatGLM-6B.git

2. 模型下载

2.1 如果显卡内存小于4G，请使用这个量化后的模型。

THUDM/chatglm-6b-int4 · Hugging Face

下载完成文件后请将 该文件解压放入 第1 步下载完成的 model 文件夹中。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ls85YyLr-1680790894849)(1.本地构建chatGlm/image-20230406122028016.png)]

这里 model 的路径为 项目文件夹下的 model/chatglm-6b-int4。

2.2 如果显卡大于8G-16G

至此，你的下载已完成

二、配置运行环境

1. 修改启动文件。

   这里以 web_demo.py为例，其他的启动脚本也相同

   #linux 下使用
   vi web_demo.py 
   #Windows右键使用记事本打开即可。
   

   在文件中找到 THUDM/chatglm-6b，将其修改为 model/chatglm-6b-int4

这个 THUDM/chatglm-6b 是模型的路径，因为我们 模型文件路径为 model/chatglm-6b-int4，所以需要修改

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0Om1j1GF-1680790894849)(1.本地构建chatGlm/image-20230406122536667.png)]

2. 安装依赖

   pip install -r requirements.txt
   

3. 启动

#在项目根路径下
python web_demo.py