从算力云零开始部署ChatGLM2-6B 教程

最新推荐文章于 2024-10-06 23:31:50 发布

2629352674

最新推荐文章于 2024-10-06 23:31:50 发布

阅读量680

点赞数 1

分类专栏： ChatGLM-6B 文章标签： chatgpt

本文链接：https://blog.csdn.net/qq_56352553/article/details/132752776

版权

ChatGLM-6B 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

硬件最低需求，显存13G以上
基本环境：
AutoDL
1.autodl-tmp 目录下

  git clone https://github.com/THUDM/ChatGLM2-6B.git

然后使用 pip 安装依赖：

pip install -r requirements.txt

pip
使用pip 阿里的
再执行git clone之前，要先在命令行执行学术加速的代码，否则执行速度太慢。

source /etc/network_turbo

git clone https://huggingface.co/THUDM/chatglm2-6b/

https://huggingface.co/THUDM/chatglm2-6b/
在这里插入图片描述

wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/tokenizer.model
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00007-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00006-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00005-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00004-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00003-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00002-of-00007.bin
wget https://huggingface.co/THUDM/chatglm2-6b/resolve/main/pytorch_model-00001-of-00007.bin

autodl-tmp/ChatGLM2-6B/ web_demo.py 路径修改

 demo.queue().launch(server_port=6006,share=True, inbrowser=True)
tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/root/autodl-tmp/chatglm2-6b", trust_remote_code=True).cuda()