服务器部署
1.环境搭建
我们采用阿里云人工智能平台PAI来进行操作
软件环境:
硬件环境:
新建conda环境
2.项目拉取
a) ChatGLM
下载模型
mkdir models
cd models
apt update
apt install git-lfs
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
下载项目
mkdir webcodes
cd webcodes
git clone https://github.com/THUDM/ChatGLM3.git
pip install -r requirements.txt
修改模型路径
启动
python cli_demo.py
至此,模型部分完成,准备LLama-Factory部署。