自建大模型聚合平台：两个开源项目的创新融合

我在去年6月份就付费了Poe.com的年费会员，成为了各大模型的首批使用者，当时花了199$，合算RMB近1.5k。你问我这钱花的值不值？我只能说开始的时候我觉得挺值的，毕竟gpt4那么贵而且api还需要排队才能使用，之后其他公司出的各中模型也能在Poe上第一时间使用。不过现在是感觉真的越来越不值了，各类同等级别的模型层出不穷，而且价格大幅下降，让我继续掏199$/Year，我肯定觉得不值。 不过最近发现两个开源项目，让我自己搭建出了一个比Poe还好用、可接入模型还多的平台，这两个项目分别是open-webui和one-api。

open-webui

先介绍下[open-webui]这个项目，这个原身是Ollama的web界面，同时兼容了openai接口格式，后来随着兼容openai接口格式的大模型越来越多，索性就独立成一个单独的开源项目了。实测除了可以接入openai之外，国外的大模型服务商together.ai、firework.ai 都可以接入，这两个平台提供了大部分的开源模型。像国内阿里云、零一万物、deepseek只要有了key都可以使用。

我个人觉得open-webui从功能性来说，要比poe强很多，我们可以先看下官方文档中的feature。

🚀 无缝设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）轻松安装，支持 :ollama 和 :cuda 标记的镜像，带来便捷的体验。
🤝 Ollama/OpenAI API 集成：轻松集成兼容 OpenAI 的 API，实现多样化对话，并支持 Ollama 模型。可自定义 OpenAI API URL，以连接到 LMStudio、GroqCloud、Mistral、OpenRouter 等。
🧩 管道、Open WebUI 插件支持：通过管道插件框架将自定义逻辑和 Python 库无缝集成到 Open WebUI。启动你的管道实例，将 OpenAI URL 设置为管道 URL，探索无限可能。例如函数调用、用户速率限制控制访问、使用 Langfuse 进行使用监控、使用 LibreTranslate 进行实时翻译以支持多语言、过滤有害信息等。
📱 响应式设计：在桌面 PC、笔记本电脑和移动设备上享受无缝体验。
📱 渐进式 Web 应用 (PWA) 移动端支持：在移动设备上享受类似原生应用的体验，提供离线访问和无缝的用户界面。
✒️🔢 全面支持 Markdown 和 LaTeX：通过全面的 Markdown 和 LaTeX 支持，提升你的 LLM 体验。
🛠️ 模型构建器：通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理，自定义聊天元素，并通过 Open WebUI 社区集成轻松导入模型。
📚 本地 RAG 集成：通过突破性的检索增强生成 (RAG) 支持，探索聊天互动的未来。此功能将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中或将文件添加到文档库中，并在查询前使用 # 命令轻松访问它们。
🔍 RAG 的网页搜索：使用 SearXNG、Google PSE、Brave Search、serpstack 和 serper 等提供商进行网页搜索，并将结果直接注入到你的聊天体验中。
🌐 网页浏览功能：使用 # 命令后跟 URL，将网站无缝集成到你的聊天体验中。此功能允许你将网页内容直接纳入对话，增强互动的丰富性和深度。
🎨 图像生成集成：通过使用 AUTOMATIC1111 API 或 ComfyUI（本地）和 OpenAI 的 DALL-E（外部）等选项，无缝集成图像生成功能，丰富你的聊天体验。
⚙️ 多模型对话：轻松与多种模型同时互动，利用它们的独特优势提供最佳响应。通过并行利用多样化的模型，提升你的体验。
🔐 基于角色的访问控制 (RBAC)：确保安全访问，只有授权人员才能访问你的 Ollama，且仅管理员拥有模型创建/拉取权限。
🌐🌍 多语言支持：通过国际化 (i18n) 支持，以你喜欢的语言体验 Open WebUI。我们正在积极寻找贡献者来扩展我们的支持语言！
🌟 持续更新：我们致力于通过定期更新、修复和新功能，不断改进 Open WebUI。

这里官方有个feature没有提到，但是我个人觉得非常好用的就是prompt管理，可以通过快捷键 / 快速启动特定的prompt，比如我经常看medium，可以通过提前设置好的prompt只需要复制粘贴就可以实现对medium文章的快速总结。 另外也可以从open-webui社区一键导入别人已经写好的prompt。

有点遗憾的是open-webui只支持openai协议格式的模型，比如像claude和谷歌的gemini pro、百度的文心这些自定义接口的模型就完全没法支持了，像智谱的glm系列虽然提供了openai兼容调用，但因为没有实现models接口导致也无法在open-webui中使用。但这些个问题因为有了下面这个开源项目得以完美解决。

one-api

[one-api] 是一个将其他模型接口格式统一封装成openai接口格式的中间层，当然它还实现了token计费管理之类的功能（这个个人使用是完全用不到的），从其官方文档中我们可以看出它其中封装了国内外很多的模型接口，可以说非常之全面了。

• OpenAI ChatGPT 系列模型（支持 Azure OpenAI API）
• Anthropic Claude 系列模型 (支持 AWS Claude)
• Google PaLM2/Gemini 系列模型
• Mistral 系列模型
• 字节跳动豆包大模型
• 百度文心一言系列模型
• 阿里通义千问系列模型
• 讯飞星火认知大模型
• 智谱 ChatGLM 系列模型
• 360 智脑
• 腾讯混元大模型
• Moonshot AI
• 百川大模型
• MINIMAX
• Groq
• Ollama
• 零一万物
• 阶跃星辰
• Coze
• Cohere
• DeepSeek
• Cloudflare Workers AI
• DeepL
• together.ai

所以我们只需要在one-api管理台上配置好模型和key，然后在open-webui上配置好one-api的地址和key，就可以在open-webui上使用各种大模型了，相当之完美。

总结

以上就是我目前自建大模型平台的方案了，两个开源软件的安装方式在各自项目里都有，可以自行查阅，我这里就不再赘述了。 我自己其实是购买了阿里云5年的2c4g的服务器（一次性投入2.6k），然后用docker的方式安装了上面这两个软件，不过后续也不需要每年花1.5k买poe或者gpt的会员服务了，只需要按token使用量付费给大模型服务商即可，我自己估算如果日常使用国内高性价比模型，偶尔特殊任务用下贵的模型的情况下，每个月花费最多也就几块钱，相当之划算了。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓