🌟Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行器,包括 Ollama 和 OpenAI 兼容 API。
Github:https://github.com/open-webui/open-webui/
Hello,大家好,我是Aitrainee,今天介绍Open WebUI (以前称为 Ollama WebUI),以及测试Ollama后端API是否成功运行的两种方式(Postman)。
Open WebUI 的主要功能 ⭐
-
🚀 轻松设置:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)进行无缝安装,支持
:ollama
和:cuda
标签的镜像。 -
🤝 Ollama/OpenAI API 集成:轻松集成兼容 OpenAI 的 API,以实现多功能对话和 Ollama 模型。自定义 OpenAI API URL 以链接到 LMStudio、GroqCloud、Mistral、OpenRouter 等。
-
🧩 Pipelines,Open WebUI 插件支持:使用 Pipelines 插件框架将自定义逻辑和 Python 库无缝集成到 Open WebUI 中。启动您的 Pipelines 实例,将 OpenAI URL 设置为 Pipelines URL,并探索无限可能。示例包括 功能调用、用户 访问限制、使用 Langfuse 等工具的 使用监控、使用 LibreTranslate 的 实时翻译 以支持多语言、有害信息过滤 等等。
-
📱 响应式设计:在台式电脑、笔记本电脑和移动设备上享受无缝体验。
-
📱移动设备的渐进式 Web 应用 (PWA):通过我们的 PWA,在移动设备上享受本地应用般的体验,提供本地主机的离线访问和无缝用户界面。
-
✒️🔢 全面的 Markdown 和 LaTeX 支持:通过综合的 Markdown 和 LaTeX 功能提升您的 LLM 体验,实现丰富的互动。
-
🛠️ 模型构建器:通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理,定制聊天元素,并通过 Open WebUI 社区 集成轻松导入模型。
-
📚 本地 RAG 集成:通过突破性的检索增强生成 (RAG) 支持,深入探索聊天互动的未来。此功能将文档互动无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中,或将文件添加到您的文档库中,在查询前通过
#
命令轻松访问它们。 -
🔍 RAG 的 Web 搜索:使用
SearXNG
、Google PSE
、Brave Search
、serpstack
和serper
等提供商进行 Web 搜索,并将结果直接注入您的聊天体验中。 -
🌐 Web 浏览功能:使用
#
命令后跟 URL,将网站无缝集成到您的聊天体验中。此功能允许您将 Web 内容直接纳入对话中,增强互动的丰富性和深度。 -
🎨 图像生成集成:通过使用 AUTOMATIC1111 API 或 ComfyUI(本地)和 OpenAI 的 DALL-E(外部)等选项,无缝集成图像生成功能,为您的聊天体验增添动态视觉内容。
-
⚙️ 多模型对话:轻松与多个模型同时互动,利用它们的独特优势以获得最佳响应。通过并行利用多种模型来增强您的体验。
-
🔐 基于角色的访问控制 (RBAC):确保安全访问,只有授权人员才能访问您的 Ollama,管理员专享模型创建/拉取权限。
-
🌐🌍 多语言支持:通过我们的国际化 (i18n) 支持,以您偏好的语言体验 Open WebUI。加入我们,扩展我们支持的语言!我们正在积极寻找贡献者!
跟着我快速开始
1. 安装完Docker
2. 如果您的计算机上有 Ollama,运行以下指令
(不安装ollama或者不使用docker的话,文章的后面会有所有的部署方式)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里显示的是windows系统docker desktop的部署:打开这个端口
来到前端页面就部署成功了,左上角选择模型(记得将欧拉玛后端启动)
▲ ollama后端启动
Ollama后端API测试
这个 open web ui是相当于一个前端项目,它后端调用的是ollama开放的api,这里我们来测试一下ollama的后端api是否是成功的,以便支持你的api调用操作
方式一:终端curl(REST API)
Ollama 提供用于运行和管理模型的 REST API。
生成响应
curl http://localhost:11434/api/generate -d '{ "model": "llama3", "prompt": "为什么天空是蓝色的?" }'
与模型聊天
curl http://localhost:11434/api/chat -d '{ "model": "llama3", "messages": [ { "role": "user", "content": "为什么天空是蓝色的?" } ] }'
REST API(Representational State Transfer Application Programming Interface)是一种基于HTTP协议的应用程序接口,它遵循REST架构风格。
REST API 使得不同系统之间能够通过标准的HTTP请求(如GET、POST、PUT、DELETE等)进行通信和数据交换。
方式二:Postman测试
设置 Postman 请求
-
打开 Postman: 确保你已经安装并打开了 Postman。
-
创建新请求:
-
点击 “New” 按钮。
-
选择 “HTTP Request”。
- 设置请求方法和 URL:
-
将请求方法设置为
POST
。 -
输入 URL
http://localhost:11434/api/generate
。
- 设置请求头: 在 “Headers” 选项卡中添加一个新键值对:
Content-Type
:application/json
- 设置请求体:
-
切换到 “Body” 选项卡。
-
选择 “raw”。
-
确保选择 “JSON” 格式。
-
在文本框中输入以下 JSON 数据:
{ "model": "gemma:7b", "prompt": "Why is the sky blue?" }
- 发送请求:
-
点击 “Send” 按钮发送请求。
-
本地请求API:比如:http://localhost:11434/api/generate,记得先安装Postman Agent(你sent之后它会提示你安装的)
验证响应
- 查看响应:
-
请求发送后,查看响应的状态码应该是
200 OK
,表示请求成功。 -
响应体应该包含 JSON 数据,你会看到类似于你之前提供的逐步生成的响应。
- 检查
done
字段:
-
在 Postman 的 “Tests” 选项卡中,你可以编写 JavaScript 测试代码来自动验证
done
字段的值。 -
以下是一个示例测试代码:
pm.test("Check if response is complete", function () { var jsonData = pm.response.json(); pm.expect(jsonData.done).to.eql(true); });
- 持续发送请求直到
done
为true
:
-
你可能需要多次发送请求来检查是否
done
字段变为true
。 -
你可以在 Postman 中设置一个循环或手动重复发送请求来检查。
下面提供官方的文档介绍、相关资源、部署教程等,进一步支撑你的行动,以提升本文的帮助力。
如何安装 🚀
使用默认配置安装
-
如果 Ollama 在您的计算机上,请使用此命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-
如果 Ollama 在另一台服务器上,请使用此命令:要连接到另一台服务器上的 Ollama,请将
OLLAMA_BASE_URL
更改为服务器的 URL:docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
-
要使用 Nvidia GPU 支持运行 Open WebUI,请使用此命令:
仅使用 OpenAI API 安装
-
如果您仅使用 OpenAI API,请使用此命令:
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装带有捆绑 Ollama 支持的 Open WebUI
此安装方法使用单个容器镜像将 Open WebUI 与 Ollama 捆绑在
一起,允许通过单个命令进行简化设置。根据您的硬件设置选择适当的命令:
- 支持 GPU:通过运行以下命令利用 GPU 资源:
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
- 仅限 CPU:如果您不使用 GPU,请使用此命令:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
两个命令都可以实现 Open WebUI 和 Ollama 的内置简化安装,确保您可以迅速启动和运行。
安装后,您可以访问 http://localhost:3000 的 Open WebUI。享受吧!😄
保持 Docker 安装最新
如果您想将本地 Docker 安装更新到最新版本,可以使用 Watchtower:
docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui
在命令的最后部分,如果容器名称不同,请将 open-webui
替换为您的容器名称。
知音难求,自我修炼亦艰
抓住前沿技术的机遇,与我们一起成为创新的超级个体
(把握AIGC时代的个人力量)
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。