【AIGC】本地部署 ollama + open-webui

在之前的篇章《【AIGC】本地部署 ollama(gguf) 与项目整合》中我们已经使用 ollama 部署了一个基于预量化（gguf）的 Qwen1.5 模型，这个模型除了提供研发使用外，我还想提供给公司内部使用，因此还需要一个 ui 交互界面。

显然，这对于我们开发人员来说不是什么难事（毕竟 ollama 已经提供了相对比较完善的 API 接口了），但都 2024 年了与其自己开发还不如先找个开箱即用的…你看，这不已经有大神开发出 open-webui 了吗，我们开箱即用即可。

本文将记录部署过程中遇到的问题以及解决方式，希望对你有所帮助（open-webui 采用 docker 进行部署）。

1. 无法访问 huggingface 官网问题

由于 open-webui 有提供模型下载功能，因此需要在 docker 启动命令中添加 HF_ENDPOINT 环境变量：

sudo docker run -d \
   ...
   -e HF_ENDPOINT=https://hf-mirror.com \
   ...
   ghcr.io/open-webui/open-webui:main

HF_ENDPOINT 将指向国内 hf-mirror 镜像站。

2. docker host 模式（ollama 宿主机直接部署的话）

open-webui 容器采用 host 模式是最方便的的做法。由于我的 ollama 是宿主机直接部署的，open-webui 容器host 模式能够直接通过 127.0.0.1 进行通讯。如果你的 ollama 是 docker 容器，那么你可以将 open-webui 部署在与 ollama 同一个网络中，然后通过桥接只公开 open-webui 访问。

在启动命令中还需要设置环境变量 OLLAMA_BASE_URL 来指定 ollama 的访问地址：

sudo docker run -d \
   --network<