转载链接:https://www.bilibili.com/read/cv22604870/
大模型ChatGLM-6B安装Mac M1本地部署
ChatGLM-6B Mac M1 Pro安装, 机器配置16G内存
官方文档: https://github.com/THUDM/ChatGLM-6B
1. 下载
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B
下载模型 https://huggingface.co/THUDM/chatglm-6b/tree/main
git clone https://huggingface.co/THUDM/chatglm-6b
如果网络慢,自己手动到国内网站下载 https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/
下载路径见如下图: ChatGLM-6B/THUDM/chatglm-6b
chatglm-6b模型下载路径
2. 安装
环境我用的aconda, python3.7以上
pip3 install -r requirements.txt
pip install gradio
修改web_demo.py
模型路径=THUDM/chatglm-6b
model = AutoModel.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True).half().to(‘mps’)
修改文件 THUDM/chatglm-6b/modeling_chatglm.py 最后位置注释两行
https://huggingface.co/THUDM/chatglm-6b/blob/9d1509a1ade49240535535aa020232c8a4b1c114/modeling_chatglm.py#L1155
3. 解决启动问题
如果遇到了报错 Could not find module 'nvcuda.dll'
或者 RuntimeError: Unknown platform: darwin
(MacOS) 的话请参考这个Issue. https://github.com/THUDM/ChatGLM-6B/issues/6#issuecomment-1471303336
4. 运行
用户:1+1
ChatGLM-6B:The sum of 1 and 1 is 2.
内存13G, 没打满,时间比较久