算力环境配置参考:
Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客
步骤一:下载ChatGLM2模型
mkdir /workspace/
cd /workspace/
git clone https://github.moeyy.xyz/https://github.com/THUDM/ChatGLM2-6B.git
步骤二:下载依赖
cd /workspace/ChatGLM2-6B/
pip install -r requirements.txt
pip install bitsandbytes==0.41.1
pip install accelerate==0.25.0
pip install streamlit
sudo apt update
sudo apt install git-lfs
步骤三:下载模型库
地址:魔搭社区
执行如下命令
mkdir /workspace/ChatGLM2-6B/THUDM
git lfs clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git
步骤四:启动并应用大模型-命令行
cd /workspace/ChatGLM2-6B/
python cli_demo.py
启动下载会比较耗时
步骤五:启动大模型-web网页
可以通过网页访问使用
cd /workspace/ChatGLM2-6B/
streamlit run web_demo2.py
步骤六:设置外网端口
步骤七、使用大模型
浏览器输入
Streamlithttp://211.93.18.69:64123/
或
Streamlithttp://zhy1.dc.houdeyun.cn:64123/
FAQ:
1、FileNotFoundError: [Errno 2] No usable temporary directory found in ['/tmp', '/var/tmp', '/usr/tmp', '/workspace/ChatGLM2-6B']
解决方案
磁盘满了,输入命令df -h,查看磁盘使用情况
删除一些数据,节省空间
参考地址