Ubantu22.04系统docker部署Open WebUI+Ollama【教程】

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器,如 Ollama 和 OpenAI 兼容的 API,并内置了 RAG 推理引擎,使其成为强大的 AI 部署解决方案。

1.docker拉取镜像

(1)如果 Ollama 在您的计算机上,请使用以下命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)如果 Ollama 位于其他服务器上,请使用以下命令

docker run -d -p 3000:8080 -e 【OLLAMA_BASE_URL=https://example.com】 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

——————————
注意:要连接到另一台服务器上的 Ollama,请将OLLAMA_BASE_URL 更改为服务器的 URL:例如是http://10.30.45.47
——————————
(3)要运行支持 Nvidia GPU 的 Open WebUI,请使用以下命令

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

——————————————————
我的机器符合(3)的条件,拉取成功截图如下

拉取成功
对于Docker 无法找到合适的设备驱动程序来支持 GPU这个问题解决如下:
(1)确保安装了 NVIDIA 驱动

nvidia-smi

安装驱动的截图如下
安装驱动的截图
(2)安装 NVIDIA Container Toolkit

如果是其他系统的话,选择合适安装命令去看官网指导说明
配置生产存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

配置成功截图
引导截图

从存储库更新软件包列表:

sudo apt-get update

更新成功如下
引导截图
安装 NVIDIA Container Toolkit 软件包:

sudo apt-get install -y nvidia-container-toolkit

安装成功截图
成功截图
重启docker生效设置

sudo systemctl restart docker

确保所有依赖项都已安装后,再次运行你的 Docker 命令
为了保险起见重新运行容器,需要删除原有的容器,【】里面是容器ID

docker rm -f 【a529094ccd1564f84244d7716de7f657b0e006c5149665b6d8b78e0667b47981】

再次运行docker run 命令

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

成功如下截图
成功截图

————————————————

2.启动Open WebUI服务器

docker logs open-webui

启动成功截图如下
启动成功

3.访问Open WebUI

打开浏览器输入:http://【服务器IP】:3000
成功截图

4.登录Open WebUI界面后空白很长时间才能反应过来

解决如下:
设置-》管理员设置-》外部连接-》OpenAI-》关闭 即可
引导图
引导图
外部连接
关闭

5.测试正常问答

问答正常
到此,docker部署Open WebUI+Ollama就结束了!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值