LLMs之WebUI：Open WebUI的简介、安装和使用方法、案例应用之详细攻略

一个处女座的程序猿

已于 2024-11-18 00:12:44 修改

阅读量3.5k

点赞数 24

分类专栏： NLP/LLMs 文章标签： Open WebUI 大语言模型

于 2024-05-23 02:35:32 首次发布

本文链接：https://blog.csdn.net/qq_41185868/article/details/139133473

版权

NLP/LLMs 专栏收录该内容

776 篇文章

订阅专栏

LLMs之WebUI：Open WebUI的简介、安装和使用方法、案例应用之详细攻略

T3、Docker Compose、Kustomize和Helm安装

2、使用方法

Open WebUI的案例应用

Open WebUI的简介

Open WebUI是一个可扩展、功能丰富且用户友好的自托管Web UI，旨在完全离线运行。它支持各种LLM运行器，包括Ollama和兼容OpenAI的API。更多信息请查看Open WebUI文档。

Open WebUI是一个功能强大的、易于使用的自托管LLM界面，提供了丰富的功能和灵活的扩展性，适用于各种LLM应用场景。

GitHub地址：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

官网：Open WebUI

1、特点

>> 轻松设置：使用Docker或Kubernetes（kubectl、kustomize或helm）进行无缝安装，支持:ollama和:cuda标记的镜像。
>> Ollama/OpenAI API集成：轻松集成兼容OpenAI的API，实现与Ollama模型的灵活对话。可以自定义OpenAI API URL以连接LMStudio、GroqCloud、Mistral、OpenRouter等。
>> 管道和Open WebUI插件支持：使用管道插件框架将自定义逻辑和Python库无缝集成到Open WebUI中。启动管道实例，将OpenAI URL设置为管道URL，探索无限可能。示例包括函数调用、用户速率限制、使用Langfuse进行使用情况监控、使用LibreTranslate进行实时翻译、有害信息过滤等等。
>> 响应式设计：在台式机、笔记本电脑和移动设备上都能获得无缝体验。
>> 移动端渐进式Web应用(PWA)：在移动设备上提供类似原生应用的体验，在本地主机上提供离线访问和无缝用户界面。
>> 完全支持Markdown和LaTeX：使用全面的Markdown和LaTeX功能来增强LLM体验。
>> 免提语音/视频通话：集成免提语音和视频通话功能，实现更动态和交互式的聊天环境。
>> 模型构建器：通过Web UI轻松创建Ollama模型。创建和添加自定义角色/代理，自定义聊天元素，并通过Open WebUI社区集成轻松导入模型。
>> 原生Python函数调用工具：在工具工作区中内置代码编辑器支持，增强LLM功能。通过简单地添加纯Python函数来实现“自带函数”（BYOF），从而与LLM无缝集成。
>> 本地RAG集成：支持检索增强生成(RAG)，将文档交互无缝集成到聊天体验中。可以直接将文档加载到聊天中，或将文件添加到文档库，使用#命令轻松访问它们。
>> 用于RAG的网络搜索：使用SearXNG、Google PSE、Brave Search、serpstack、serper、Serply、DuckDuckGo、TavilySearch和SearchApi等提供商进行网络搜索，并将结果直接注入聊天体验。
>> 网页浏览功能：使用#命令后跟URL将网站无缝集成到聊天体验中。
>> 图像生成集成：使用AUTOMATIC1111 API或ComfyUI（本地）以及OpenAI的DALL-E（外部）等选项无缝集成图像生成功能。
>> 多模型对话：同时轻松与各种模型互动，利用其独特的优势获得最佳响应。
>> 基于角色的访问控制(RBAC)：通过受限权限确保安全访问；只有授权人员才能访问您的Ollama，并且只有管理员才能创建/提取独占模型。
>> 多语言支持：支持国际化(i18n)，可以使用自己喜欢的语言体验Open WebUI。
>> 持续更新：定期更新、修复和新功能。

Open WebUI的安装和使用方法

1、安装

Open WebUI提供了多种安装方法：

T1、Python pip安装

需要Python 3.11。

安装命令：
pip install open-webui；

运行命令：
open-webui serve (访问地址：http://localhost:8080)

T2、Docker安装

推荐使用带有:cuda或:ollama标签的官方镜像。需要根据Ollama是否在本地以及是否需要GPU支持选择不同的命令。关键是需要挂载数据卷-v open-webui:/app/backend/data以防止数据丢失。具体命令请参考GitHub页面中的详细说明。如果Ollama在不同的服务器上，需要设置OLLAMA_BASE_URL环境变量。