1、环境准备:
创建ChatGLM3文件夹:mkdir ChatGLM3
创建python=3.11的虚拟环境:conda create -n chatglm3 python=3.11
查看虚拟环境是否安装成功:conda env list
切换到chatglm3虚拟环境中:conda activate chatglm3
2、下载源码和模型
2.1 在ChatGLM3文件夹下下载
从github下载源码:git clone https://github.com/THUDM/ChatGLM3.git
从SwanHub下载源码:git clone https://swanhub.co/ZhipuAI/ChatGLM3.git
这个过程需要等待一段时间,等模型源码完全下载好。
2.2 下载模型文件
最好在ChatGLM文件夹下创建一个model文件夹,将模型放入该文件夹下,便于记住路径。
下载模型前请先确保git lfs命令已安装,并启用。
使用 Huggingface 下载模型:git clone https://huggingface.co/THUDM/chatglm3-6b.git
使用 Modelscope 下载模型:git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
使用 SwanHub 下载模型:git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git
下载需要一段时间,在下载完模型后请检查每个文件的完整性。
3、安装依赖
cd ChatGLM3
pip install -r requirements.txt
如果没有vpn,可以用下面加速源安装
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
这个耗时也较长,耐心等待安装完成。
请注意,使用 Apple 芯片的 Mac 和使用 Intel x86 的 Mac 的环境设置会有所不同。我们大部分mac采用的Apple芯片,所以要安装为 MPS 设备加速配置的Preview (Nightly)版pytorch,命令如下(也可去pytorch官网选择):
conda install pytorch torchvision torchaudio -c pytorch-nightly
安装该版本pytorch之前最好先卸载原来的torch:pip uninstall torch/conda uninstall pytorch
4、本地运行
切换到basic_demo文件夹下:cd basic_demo
在运行之前需要先把chatglm3-6b模型文件夹下的condfig.json中的_name_or_path对应的路径改成自己本地模型路径,如我这儿为:"/Users/beukay/ChatGLM3/model/chatglm3-6b"
对应demo内的模型路径(MODEL_PATH)改成自己本地下载的chatglm3-6b模型的路径,我这里为:'/Users/beukay/ChatGLM3/model/chatglm3-6b'
4.1 使用本地模型加载并使用命令行来问答
通过命令python cli_demo.py启动终端命令交互demo:
4.2 使用本地模型加载并使用web_demo来问答
通过以下命令启动基于 Streamlit 的网页版 demo:
streamlit run basic_demo/web_demo_streamlit.py
如上图所示,复制图中的连接到浏览器打开,即可以进行问答,如下图所示:
5、问题与注意点
1、报下面错时,是因为pytorch版本的问题,mac中用mps进行加速,所以需要把原来的torch卸载,安装mac对应的Preview (Nightly)版pytorch。
卸载命令:pip uninstall torch/conda uninstall pytorch
安装命令:conda install pytorch torchvision torchaudio -c pytorch-nightly