ChatGLM-6B环境部署搭建
本地模型启动,需要把从Hugging Face Hub加载改为本地路径加载,在/root/ChatGLM-6B/下的cli_demo.py和web_demo.py文件中进行修改。虚拟环境中,运行nvcc -V返回的是系统cuda版本(/usr/local/cuda),想要查看虚拟环境的cuda版本,使用print(torch.version.cuda)cuda和pytorch版本关系如下要求 https://pytorch.org/get-started/previous-versions/




