第六篇-ChatGLM2-6B-CentOS7安装部署-GPU版

原创

已于 2023-11-03 11:43:27 修改 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#centos #linux #运维 #人工智能

于 2023-07-29 22:18:18 首次发布

本文详细介绍了在CentOS-7系统上，使用NVIDIATeslaP40GPU和CUDA11.7环境，部署ChatGLM2-6B大模型的过程。通过Miniconda3创建环境，安装依赖，下载并加载模型，最后实现了一个WebDemo，用户可以访问本地或公开URL与模型进行交互。

环境

系统：CentOS-7
CPU: 14C28T
显卡：Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

模型文件

https://huggingface.co/THUDM/chatglm2-6b
下载模型相关文件到自己目录
我的是/models/chatglm2-6b

[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root  1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul