本地搭建chatglm-6b
参考博客:本地版ChatGPT?清华开源项目ChatGLM本地部署教程
-
安装python,推荐在3.10的稳定版本
-
安装pipenv,在虚拟python环境中运行项目
-
分别下载chatglm-6b模型和chatglm-6b-main项目,进行执行
(1)下载chatglm-6b训练后的模型
下载地址:huggingface.co/THUDM/chatglm-6b/tree/main
存储在chatglm-6b下
(2)下载chatglm-6b-main项目,下载地址:github.com/THUDM/ChatGLM-6B
保存至chatglm-6b-main目录下,将chatglm-6b拷贝至目录下
-
执行pipenv install,创建Pipfile和Pipfile.lock
-
修改web_demo.py下的内容
# 之前的/THUDM/chatglm-6b修改为chatglm-6b tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True) #model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().cuda() #使用CPU 16G内存模式 model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).bfloat16()
-
执行pipenv shell,再启动python web_demo.py,浏览器中输入url,就可以进行测试使用了