1. 安装Ollama
根据自己的系统下载Ollama,我的是Linux,所以我使用如下命令进行下载安装:
curl -fsSL https://ollama.com/install.sh | sh
2. 安装Open-WebUI
使用 Docker 的方式部署 open-webui ,使用gpu的话按照如下命令进行
sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
官方的地址可能会出现网络问题,可以使用国内地址:
sudo docker