本地部署的参考文章,作者写得很详尽,但我是在远程虚拟机上部署,所以对其中需要更改部分做出标注。
一、配置虚拟机
1.1注册虚拟机
首先在esxi中注册好Ubuntu系统(我是用的是Ubuntu22.04
1.2配置网络
在注册时最好先配置好网络
1.3虚拟机安装完成
等待虚拟机安装完成
1.4xshell远程连接
打开xshell,输入虚拟机IP地址,端口号,以及设置好的虚拟机名称和密码,通过ssh协议 连接虚拟机
二、部署本地模型
2.1修改Docker镜像源
docker安装后默认没有daemon.json这个配置文件,需要进行手动创建
sudo nano /etc/docker/daemon.json
然后在文件中输入以下内容
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.1panel.live",
"https://hub.rat.dev"
]
}
重启 Docker 服务:
sudo systemctl restart docker
打开hosts文件:
sudo nano /etc/hosts
在末尾添加:
185.199.108.133 raw.githubusercontent.com
2.2安装docker和docker-compose
然后跟着文章的步骤安装docker和docker-compose
因为02启动api.bat文件是 Windows 批处理脚本,只能在 Windows 操作系统上运行。
要在Ubuntu环境下正常启动,需要将文件改写为bash格式:
sudo nano start_api.sh
python的位置要更改为自己的路径
查找代码
which python3
启动start_api.sh文件,(在文件所在地址,建议其他容器测试成功后再启动)
./start_api.sh
等待启动就可以成功测试ChatGLM3渠道了