open-web UI 实用指南

open-web UI 类似于chatgpt的界面,可以私有化模型本地部署，也可以用商业模型.本文只是用开源模型. 它以实现AI聊天 ， AI 翻译 ， 语音转文本， 文本转语音， 文生图，代码助手，可谓利器。

前提：安装好ollama

安装open-web UI

使用 pip 安装

需要 Python 3.11

1. 安装Open WebUI：打开你的终端并运行以下命令：

   pip install open-webui
   

2. 启动 Open WebUI：安装完成后，使用以下命令启动服务器：

   open-webui serve
   

安装后，可以在 http://localhost:8080 访问Open WebUI

AI 聊天，AI翻译

点用户，打开管理员面板，选择设置–外部连接，输入Ollama API的链接地址，点击右边按钮，测试连接

然后在 设置–界面 ，选择一个默认模型

然后就可以回到新对话，进行聊天了。

可以在工作空间编辑一下提示词，便于翻译

语音转文本

安装 faster-whisper-serve

faster-whisper-serve 是一个兼容 OpenAI API 的转录服务器，它使用fast-whisper作为后端。特征：

• GPU 和 CPU 支持。
• 使用 Docker 可以轻松部署。
• 可通过环境变量进行配置（请参阅config.py ） 。
• 兼容 OpenAI API。
• 流媒体支持（转录是在音频转录时通过SSE发送的。您无需等待音频完全转录后再接收）。
• 实时转录支持（音频在生成时通过 websocket 发送）。
• 动态模型加载/卸载。只需在请求中指定您要使用的模型，它将自动加载。经过一段时间不活动后，它将被卸载。

git clone https://github.com/fedirz/faster-whisper-serve
cd faster-whisper-serve
docker compose up --detach faster-whisper-server-cuda

设置open-web UI 语音转文本

点用户，打开管理员面板，选择设置–语音。 语音转文本模型输入 deepdml/faster-whisper-large-v3-turbo-ct2, 这个是多语言模型； API密钥随便输入，没有被使用到。