Ollama WebUI 安装和配置指南
1. 项目基础介绍和主要编程语言
项目基础介绍
Ollama WebUI 是一个用户友好的 Web 界面,专为大型语言模型(LLMs)设计。它是一个自托管的 WebUI,支持多种 LLM 运行器,包括 Ollama 和 OpenAI 兼容的 API。该项目旨在提供一个功能丰富、易于扩展的界面,使用户能够在本地环境中无缝操作 LLMs。
主要编程语言
该项目主要使用以下编程语言和框架:
- Svelte: 用于构建用户界面。
- Python: 用于后端逻辑和模型管理。
- TypeScript: 用于前端开发和类型安全。
- Shell: 用于脚本编写和自动化任务。
2. 项目使用的关键技术和框架
关键技术和框架
- Docker: 用于容器化部署,简化安装和配置过程。
- Kubernetes: 提供高级的容器编排和管理功能。
- Ollama: 作为主要的 LLM 运行器,支持本地和远程模型。
- OpenAI API: 支持与 OpenAI 兼容的 API 集成。
- Pipelines Plugin Framework: 支持自定义逻辑和 Python 库的集成。
3. 项目安装和配置的准备工作和详细安装步骤
准备工作
在开始安装之前,请确保您的系统满足以下要求:
- Docker: 已安装并配置好 Docker。
- Nvidia CUDA Toolkit(可选): 如果您计划使用 CUDA 加速,请安装此工具包。
- Git: 用于克隆项目仓库。
详细安装步骤
步骤 1: 克隆项目仓库
首先,使用 Git 克隆 Ollama WebUI 的仓库到您的本地机器:
git clone https://github.com/ollama-webui/ollama-webui.git
cd ollama-webui
步骤 2: 配置 Docker 环境
确保 Docker 已启动并运行。如果您计划使用 CUDA 加速,请确保已安装 Nvidia CUDA 容器工具包。
步骤 3: 运行 Docker 容器
使用以下命令启动 Ollama WebUI 的 Docker 容器:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果您计划连接到 Ollama 在另一个服务器上,请修改 OLLAMA_BASE_URL
环境变量:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
步骤 4: 访问 WebUI
启动容器后,您可以通过浏览器访问 http://localhost:3000
来使用 Ollama WebUI。
配置说明
- 端口映射:
-p 3000:8080
将主机的 3000 端口映射到容器的 8080 端口。 - 数据卷:
-v open-webui:/app/backend/data
确保数据持久化,防止数据丢失。 - 环境变量:
-e OLLAMA_BASE_URL
用于指定 Ollama 服务器的 URL。
通过以上步骤,您应该能够成功安装并配置 Ollama WebUI,开始在本地环境中使用大型语言模型。