大模型部署手记（21）Windows+ChatGLM3

听说 ChatGLM3发布了。张小白就想着在Windows上试一试：

先安装Git Large File Storage:

打开 git-lfs.github.com

点击Download

安装下载好的文件：

打开Git Bash:

执行：git lfs install

至此，Git LFS安装成功。

cd /f/

git clone https://huggingface.co/THUDM/chatglm3-6b

由于众所周知的原因，这条路不通。

只能从modelscope走走看了：

打开 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

打开 Anaconda PowerShell Prompt

conda activate model310

F:

进入python命令行，执行：

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

下载好的模型文件放到了 C:\Users\xishu\.cache\modelscope\hub\ZhipuAI\chatglm3-6b

将其挪到 F:\models\THUDM\chatglm3-6b

回到 F:\

git clone https://github.com/THUDM/ChatGLM3

没办法，只好下载zip包后解压：

cd F:\ChatGLM3-main

conda deactivate

conda create -n chatglm3 python=3.10

conda activate chatglm3

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

这里肯定安装了torch 2.1.0的CPU版本，记得要用 conda改成 GPU版本。

打开

根据：

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install chardet

在Python命令行执行以下脚本：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("\\models\\THUDM\\chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("\\models\\THUDM\\chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "你能做什么", history=history)
print(response)
response, history = model.chat(tokenizer, "告诉我阿甘正传是一部什么电影", history=history)
print(response)

pip install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple

cd composite_demo

修改client.py

将

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')

改为

MODEL_PATH = "\\models\\THUDM\\chatglm3-6b"

streamlit run main.py

浏览器自动弹出：

切换到Tool：

下面来试一下ChatGLM3能否嵌入到 LongChain-ChatChat中。

打开配置文件 F:\Langchain-Chatchat\configs\model_config.py

增加以下内容：

切换到chatchat conda环境

conda deactivate

conda activate chatchat

F:

cd \Langchain-Chatchat

python startup.py --all-webui

弹出窗口后，切换到 LLM对话模式：

居然能显示Latex公式。

百度了下 方程式：

这个回答得对吗？

（全文完，谢谢阅读）