Ollama+Open WebUI：搭建本地私有化的 AI 应用平台

最新推荐文章于 2025-05-07 15:55:18 发布
最新推荐文章于 2025-05-07 15:55:18 发布
阅读量777 收藏 26
点赞数 20
文章标签： prompt AI大模型 LLM 人工智能 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/147729814
版权

基于 Ollama + Open WebUI，我们可以搭建部署本地私有化的 AI 应用平台。通过 Ollama 实现本地化大语言模型的运行管理，结合 Open WebUI 的交互界面、RAG 增强能力和多模型支持特性，形成集模型推理、应用开发、隐私保护于一体的私有化 AI 平台，适用于企业知识库、安全对话系统、离线智能助手等场景。

  • Ollama 是一个开源的本地大语言模型运行框架，旨在让用户能够在本地计算机上轻松运行、管理和与大型语言模型（LLM）进行交互。Ollama 的设计目标是简化大型语言模型的本地部署和管理，适合开发者、研究人员以及对数据隐私有较高要求的用户
  • Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，支持完全离线运行。它支持多种语言模型运行器，如 Ollama 和兼容 OpenAI 的 API，并内置了用于检索增强生成（RAG）的推理引擎，使其成为强大的 AI 部署解决方案。

Ollama 的功能特性与安装步骤，可阅读 《大模型本地部署开源框架 Ollama 介绍》。本文在已部署安装 Ollama 的基础上，介绍 Open WebUI 的功能特性、安装步骤，初步搭建私有化的 AI 应用平台。 Open WebUI 的文档地址：https://docs.openwebui.com/，github 项目为 https://github.com/open-webui/open-webui，目前已有 78.7 K stars，很火的 AI 应用项目。

Open WebUI 功能特性

Open WebUI 的功能丰富，涵盖大模型集成、用户权限控制、聊天对话、工具函数调用、RAG、网络搜索、图像生成、自定义管道（pipeline）等功能，十分强大！

  • 轻松安装：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，支持 :ollama 和 :cuda 标签的镜像，体验无烦恼的安装过程。
  • Ollama/OpenAI API 集成：轻松集成兼容 OpenAI 的 API，可实现多样化的对话，同时支持 Ollama 模型。可自定义 OpenAI API URL，连接 LMStudio、GroqCloud、Mistral、OpenRouter 等。
  • ️ 细粒度权限和用户组：通过允许管理员创建详细的用户角色和权限，确保了一个安全的用户环境。这种细粒度的权限设置不仅增强了安全性，还允许定制用户界面，培养用户的归属感和责任感。
  • 响应式设计：在台式电脑、笔记本电脑和移动设备上享受无缝体验。
  • 移动设备的渐进式 Web 应用 (PWA)：通过我们的 PWA，在移动设备上享受类似原生应用的体验，提供离线访问 localhost 和流畅的用户界面。
  • 全面支持 Markdown 和 LaTeX：通过全面的 Markdown 和 LaTeX 功能提升 LLM 体验，实现更丰富的交互。
  • 免提语音/视频通话：体验集成的免提语音和视频通话功能，允许更动态和互动的聊天环境。
  • ️ 模型构建器：通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理，定制聊天元素，并通过 Open WebUI 社区集成轻松导入模型。
  • 原生 Python 函数调用工具：通过工具工作区中的内置代码编辑器支持增强您的 LLM。通过简单地添加 Python 函数，实现自定义函数（BYOF）与 LLM 的无缝集成。
  • 本地 RAG 集成：通过开创性的检索增强生成 (RAG) 支持，探索与 AI 聊天互动的前沿体验。此功能将文档交互无缝集成到聊天体验中。可以直接将文档加载到聊天中，或将文件添加到文档库中，使用 # 命令轻松访问它们。
  • RAG 的网络搜索：使用 SearXNG、Google PSE、Brave Search、serpstack、serper、Serply、DuckDuckGo、TavilySearch、SearchApi 和 Bing 等提供商进行网络搜索，并将结果直接注入到对话聊天体验中。
  • 网络浏览功能：使用 # 命令后跟 URL，将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接融入对话中，增强对话互动的丰富性和深度。
  • 图像生成集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）以及 OpenAI 的 DALL-E（外部）选项，无缝融入图像生成功能，为聊天体验增添动态视觉内容。
  • ⚙️ 多模型对话：轻松地同时与各种模型互动，利用它们的独特优势获得最佳回应。通过并行利用多样化的模型集来提升体验。
  • 基于角色的访问控制 (RBAC)：通过限制权限确保安全访问；只有授权人员可以访问您的 Ollama，模型创建/拉取权限仅限管理员。
  • 多语言支持：通过国际化 (i18n) 支持，支持以偏好的语言体验 Open WebUI。
  • 管道，Open WebUI 插件支持：使用管道插件框架（https://github.com/open-webui/pipelines）将自定义逻辑和 Python 库无缝集成到 Open WebUI 中。启动您的管道实例，将 OpenAI URL 设置为管道 URL，并探索无限可能。示例包括函数调用、用户速率限制以控制访问、使用 Langfuse 等工具进行使用监控、使用 LibreTranslate 进行实时翻译以支持多语言、过滤有害信息等。
  • 持续更新：致力于通过定期更新、修复和新功能来持续改进 Open WebUI。

安装步骤

Open WebUI 的安装步骤十分简单，支持 python pip 和 docker 两种安装方式。

通过 python pip 安装

  1. 1. 确保安装的 python 是 3.11 版本以上（3.11 以上版本的 python，可避免兼容性问题）

  1. 2. 运行 pip install open-webui 命令，进行安装。
pip install open-webui
  1. 3. 安装完成后，运行命令 open-webui serve，启动 Open WebUI 服务。
open-webui serve

通过 Docker 安装

  1. 1. 下载 docker 镜像。
    运行以下 docker 命令，下载 docker 镜像。
docker pull ghcr.io/open-webui/open-webui:main
  1. 2. 启动 Open WebUI 服务。
    若 Ollama 模型服务运行在同一台机器上，可运行以下 docker 命令，启动 Open WebUI 服务。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

若 Ollama 模型服务运行在不同的机器上，可通过 OLLAMA_BASE_URL 指定 Ollama 服务地址。

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

功能体验

Open WebUI 服务启动后，通过 http://localhost:8080 链接，即可访问 Open WebUI 服务。

以可视化的方式向模型（deepseek-r1:7b）进行提问：为什么三体不是稳态的？模型的回答以流式响应的形式返回。

切换至 qwen2.5-coder:7b，分析代码。

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

Llama-Turbo
关注
Open WebUI：构建私有化AI交互平台的开源利器
xiezhipu的博客
04-07 362
Open WebUI为构建私有化AI平台提供了开箱即用的解决方案，其模块化设计兼顾了易用性与扩展性。无论是个人开发者快速验证AI创意，还是企业构建生产级智能系统，该项目都值得纳入技术选型范围。随着插件生态的完善，未来有望成为LLM应用开发的基础设施级项目。项目地址快速体验：官方提供Demo站点与详细文档，建议通过Docker快速部署体验完整功能。
【AI大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程
neeef_se的博客
12-25 1441
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
Ollama配置与webUI本地部署-学习记录
qq_72421395的博客
08-04 7033
Ollama是一款可以开始使用本地的大型语言模型。启动并运行大型语言模型。运行Llama 2、Code Llama和其他模型。自定义并创建您自己的模型。Ollama提供了丰富的功能，包括模型的训练、部署、监控等。
本地大模型搭建教程：Ollama + WebUI，附ollama安装包
m0_65555479的博客
04-15 1065
随着这一两年大模型的爆火，越来越多的开发者希望能够在本地环境中运行大模型，既可以提高数据安全性，又能更好地进行个性化开发。Ollama 作为目前最主流的大模型管理工具，已经是玩转大模型必不可获取的一步。无论你是刚刚接触大模型的新手，还是已经有一定经验的老手，这篇文章都将带你一步一步地了解如何轻松地在本地部署大模型。
ollama+deepseek+openwebui安装
最新发布
Sid小杰的博客
05-07 550
Ollama 下载：https://ollama.com/downloadOllama 官方主页：https://ollama.comOllama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/官网下载安装包安装完成后win+R执行命令ollama看是不是安装成功了从ollama官网下载模型，这里选的deepseek-r1我选的1.5b的，因为我在轻薄本上面跑。。。复制这个命令执行下载完执行ollama list 查看一下。
Ollama完整教程：本地LLM管理、WebUI对话、Python/Java客户端API应用
老牛啊
07-10 1万+
Ollama可以非常方便的管理和部署我们本地大语言模型，老牛同学希望通过本文对Ollama进行一次详细介绍，包括本地大模型管理和使用、WebUI对话界面部署、通过Python和Java使用Ollama的API接口等……
探索Ollama-WebUI：一款高效灵活的前端框架
gitblog_00088的博客
03-24 2668
探索Ollama-WebUI：一款高效灵活的前端框架 项目地址:https://gitcode.com/gh_mirrors/ol/ollama-webui 项目简介 Ollama-WebUI 是一个开源的前端框架，设计用于快速构建现代化、响应式和交互性强的 Web 应用程序。该项目的目标是提供一套简洁、易用且功能丰富的组件库，帮助开发者提升开发效率，减少重复工作，并确保应用的一致性和美观性。 技...
LLaMA2--WebUI模型下载以及环境搭建
weixin_50727153的博客
01-22 3356
LLaMA-2（Language Learning and Modeling Architecture）是一种语言学习和建模框架，用于自然语言处理任务。它是在LLaMA的基础上进一步发展而来的。LLaMA-2模型通过结合多种语言学习和建模方法，提供了更强大和灵活的框架来处理自然语言的复杂性。目前共有7B、13B、33B、65B 四种版本，其模型参数如下表所示：LLaMA-2模型的主要特点包括：多任务学习：LLaMA-2模型可以同时处理多个相关任务，从而实现知识的共享和迁移，提高模型在各种任务上的性能。
大模型部署-​Ollama+WebUI
weixin_58753619的博客
09-18 2645
易于使用：它提供了一个简洁的界面和命令行工具，使得用户可以方便地管理和运行不同的大语言模型。多种模型支持：可以运行多种开源的大语言模型，为用户提供了更多的选择。本地运行：允许用户在本地设备上运行模型，保护数据隐私，同时减少对网络连接的依赖。自定义配置：用户可以根据自己的需求进行自定义配置，如调整模型参数、设置内存限制等。开发和测试：对于开发者来说，Ollama 是一个方便的工具，可以在本地进行模型的开发和测试，提高开发效率。
【大模型】Ollama+WebUI+AnythingLLM搭建本地知识库
春天的波菜
10-24 2258
部署属于自己的大模型，优点：离线运行、隐私保护、开发和测试，配合AnythingLLM搭建本地知识库，同时支持API接口调用。
【大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程（Mac）
m0_74823471的博客
12-11 4888
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
离线部署大模型：ollama+deepseek+open-webui
呱牛 Just do IT
02-20 1747
ollama 是一个开源的本地大语言模型运行框架，它提供了非常简单便捷的使用形式，让用户可以十分方便的在本地机器上部署和运行大型语言模型，从而实现免费离线的方式使用 LLM 能力，并确保私有数据的隐私和安全性。
Ollama安装WebUi页面集成
qq_33560212的博客
07-12 2372
Open WebUI是一个可扩张的，功能丰富且用户友好的自托管WebUI，旨在完全离线操作。它支持各种LLM运行器，包括Ollama和OpenAI兼容的API。
Ollama配置webui连接大预言模型
lldhsds的专栏
04-26 3670
默认ollama安装后，chat对话只有命令行界面，交互体验较差。借助open-webui可以通过web界面连接ollama，从而实现类似chatgpt式的web交互体验。使用 Docker 安装 Open WebUI 时，请确保在 Docker 命令中包含 -v open-webui:/app/backend/data，用于保存数据。点击右上角设置图标，打开设置窗口，如下图，输入型号标签（如llama2:7b, gemma:2b），点击右侧下载按钮，等待型号待下载。通过openwebUI下载。
推荐5个免费Ollama WebUI客户端
m0_59163425的博客
10-13 8864
我们推荐5款开源免费的Ollama WebUI客户端，帮助您了解Ollama本地模型框架，轻松掌握其优缺点，提升您的使用体验。Ollama 的模型在本地运行，所有用户生成的数据都存储在本地，使其安全且私密，无需审查，有效满足您的数据隐私需求。而且，对于本地运行的应用程序来说，这种方法不仅提高了效率，而且消除了对网络环境的依赖。尽管Ollama可以在本地部署模型服务，但其原生交互界面是基于命令行的，这不允许用户轻松地与AI模型交互。
五个优秀的免费 Ollama WebUI 客户端推荐
热门推荐
2401_85343303的博客
07-29 3万+
Ollama 是一款强大的本地运行大型语言模型（LLM）的框架，它允许用户在自己的设备上直接运行各种大型语言模型，包括 Llama 2、Mistral、Dolphin Phi 等多种模型，无需依赖网络连接。此外，Ollama 还提供跨平台的支持，包括 macOS、Windows、Linux 以及 Docker， 几乎覆盖了所有主流操作系统。详细信息请访问 [Ollama 官方开源社区]
OLLAMA：如何像云端一样运行本地大语言模型
songgz的专栏
03-16 1万+
您是否曾发现自己被云端语言模型的网络所缠绕，渴望获得更本地化、更具成本效益的解决方案？那么，您的探索到此结束。欢迎来到 OLLAMA 的世界，这个平台将彻底改变我们与大型语言模型 (LLM) 的交互方式，让我们可以在本地运行这些模型。我们将深入探讨 OLLAMA 的复杂性，探索其功能、设置过程以及它如何改变你的项目。无论您是 Python 开发人员、网络开发爱好者，还是喜欢摆弄语言模型的人，本文都是您的一站式资源。OLLAMA 是一个尖端平台，旨在本地运行开源大型语言模型。
linux系统部署ollama、open-webui
super_mochi1
09-05 9877
linux安装ollama、open-webui
Open WebUI部署
03-15
执行以下命令来启动容器化版本的 Open WebUI 应用程序，并设置必要的参数以连接到您的 OpenAI 账户密钥[^2]: ```bash docker run -d \ -p 3000:8080 \ -e OPENAI_API_KEY=your_secret_key \ -v open-webui:/app/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值