【本地部署开源模型ChatGLM3-6b】1分钟教会你如何部署大模型+使用

本地部署ChatGLM3-6b

模型下载

# 下载模型文件
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
# 下载ChatGLM3官方代码库
git clone https://github.com/THUDM/ChatGLM3.git
# 创建模型文件夹THUDM,并存入下载的模型
cd ChatGLM3
mkdir THUDM
mv ../chatglm3-6b THUDM/
# 使用LLaMA环境
conda activate llama_factory

路径：/home/kby/projects/llm/chatglm3-6b
web_demo演示

# 修改`basic_demo/web_demo_gradio.py`最后一行
demo.launch(server_name="0.0.0.0", server_port=7870, inbrowser=False, share=True)
# 运行
python basic_demo/web_demo_gradio.py
# 开放运行端口
firewall-cmd --zone=public --add-port=7870/tcp --permanent
# 重启防火墙
firewall-cmd --reload

访问链接：自己服务器地址:7870

后续更新将如何将部署的ChatGLM3-6b接入自己部署的Dify