mac本地部署ChatGLM3-6b(m2 芯片)

1、环境准备：

创建ChatGLM3文件夹：mkdir ChatGLM3

创建python=3.11的虚拟环境：conda create -n chatglm3 python=3.11

查看虚拟环境是否安装成功：conda env list

切换到chatglm3虚拟环境中：conda activate chatglm3

2、下载源码和模型

2.1 在ChatGLM3文件夹下下载

从github下载源码：git clone https://github.com/THUDM/ChatGLM3.git

从SwanHub下载源码：git clone https://swanhub.co/ZhipuAI/ChatGLM3.git

这个过程需要等待一段时间，等模型源码完全下载好。

2.2 下载模型文件

最好在ChatGLM文件夹下创建一个model文件夹，将模型放入该文件夹下，便于记住路径。

下载模型前请先确保git lfs命令已安装,并启用。

使用 Huggingface 下载模型：git clone https://huggingface.co/THUDM/chatglm3-6b.git

使用 Modelscope 下载模型：git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

使用 SwanHub 下载模型：git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git

下载需要一段时间，在下载完模型后请检查每个文件的完整性。

3、安装依赖

cd ChatGLM3

pip install -r requirements.txt

如果没有vpn，可以用下面加速源安装

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

这个耗时也较长，耐心等待安装完成。

请注意，使用 Apple 芯片的 Mac 和使用 Intel x86 的 Mac 的环境设置会有所不同。我们大部分mac采用的Apple芯片，所以要安装为 MPS 设备加速配置的Preview (Nightly)版pytorch，命令如下(也可去pytorch官网选择)：

conda install pytorch torchvision torchaudio -c pytorch-nightly

安装该版本pytorch之前最好先卸载原来的torch：pip uninstall torch/conda uninstall pytorch

4、本地运行

切换到basic_demo文件夹下：cd basic_demo

在运行之前需要先把chatglm3-6b模型文件夹下的condfig.json中的_name_or_path对应的路径改成自己本地模型路径，如我这儿为："/Users/beukay/ChatGLM3/model/chatglm3-6b"

对应demo内的模型路径(MODEL_PATH)改成自己本地下载的chatglm3-6b模型的路径,我这里为：'/Users/beukay/ChatGLM3/model/chatglm3-6b'

4.1 使用本地模型加载并使用命令行来问答

通过命令python cli_demo.py启动终端命令交互demo：

4.2 使用本地模型加载并使用web_demo来问答

通过以下命令启动基于 Streamlit 的网页版 demo：

streamlit run basic_demo/web_demo_streamlit.py

如上图所示，复制图中的连接到浏览器打开，即可以进行问答，如下图所示：

5、问题与注意点

1、报下面错时，是因为pytorch版本的问题，mac中用mps进行加速，所以需要把原来的torch卸载，安装mac对应的Preview (Nightly)版pytorch。

卸载命令：pip uninstall torch/conda uninstall pytorch

安装命令：conda install pytorch torchvision torchaudio -c pytorch-nightly