Ollama配置webui连接大预言模型

Ollama配置Web UI连接大预言模型

默认ollama安装后，chat对话只有命令行界面，交互体验较差。借助open-webui可以通过web界面连接ollama，从而实现类似chatgpt式的web交互体验。

使用家用PC实践记录如下：

1. 环境配置

本次使用的操作系统及硬件信息如下：

• 操作系统：windows11 23H2
• CPU: intel i7-12700
• MEM: 16GB
• GPU: NVIDIA GeForce GTX 1650
• Disk： 512GB SSD
• Docker：25.0.3

2. 安装Ollama

1. macOS: Download

2. Windows： Download

3. Linux

   一键命令安装：curl -fsSL https://ollama.com/install.sh | sh

   手动安装：Manual install instructions

4. Docker: Ollama Docker image

3. 安装 Ollama WebUI

运行以下 docker 命令以在本地计算机上部署 llama-webui docker 容器：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker ps
CONTAINER ID   IMAGE                                COMMAND           CREATED          STATUS          PORTS                    NAMES
24224b4e9772   ghcr.io/open-webui/open-webui:main   "bash start.sh"   15 seconds ago   Up 10 seconds   0.0.0.0:3000->8080/tcp   open-webui

要连接到另外一台机器上的 Ollama，请将 OLLAMA_BASE_URL 更改为对应的URL:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

注意：

使用 Docker 安装 Open WebUI 时，请确保在 Docker 命令中包含 -v open-webui:/app/backend/data，用于保存数据。

4. 登录打开WebUI

安装完成后，您可以通过http://localhost:3000 访问OpenWebUI。首次登录需要进行注册：

5. 从 ollama library下载模型

1. 使用使用命令行下载模型，例如下载llama3：ollama pull llama3

2. 通过openwebUI下载

点击右上角设置图标，打开设置窗口，如下图，输入型号标签（如llama2:7b, gemma:2b），点击右侧下载按钮，等待型号待下载。

6. 选择模型进行chat

选择model即可进行chat对话。