PrivateGPT

---

一、关于 PrivateGPT

Private ateGPT是一个生产就绪的AI项目，它允许您使用大型语言模型（LLM）的强大功能对文档提出问题，即使在没有Internet连接的情况下也是如此。

• github : https://github.com/zylon-ai/private-gpt
• 官方文档：https://docs.privategpt.dev/overview/welcome/introduction
• Discord | Twitter

---

---

提示：如果您正在寻找一个企业就绪的、完全私有的人工智能工作空间，请查看Zylon的网站或请求演示。Zylon由Private ateGPT背后的团队制作，是一流的人工智能协作工作空间，可以轻松部署在本地（数据中心、裸机…）或私有云（AWS、GCP、Azure…）中。

该项目提供了一个应用编程接口，提供构建私有的上下文感知人工智能应用程序所需的所有原语。它遵循并扩展了开放人工智能应用编程接口标准，并支持正常和流响应。

---

API分为两个逻辑块：

高级API，它抽象了RAG（检索增强生成）管道实现的所有复杂性：

• 文档的摄取：内部管理文档解析、拆分、元数据提取、嵌入生成和存储。
• 使用来自摄取文档的上下文进行聊天和完成：抽象上下文的检索、提示工程和响应生成。

---

低级API，允许高级用户实现自己的复杂管道：

• 嵌入生成：基于一段文本。
• 上下文块检索：给定一个查询，从摄取的文档中返回最相关的文本块。

除此之外，还提供了一个工作的Gradio UI客户端来测试API，以及一组有用的工具，如批量模型下载脚本、摄取脚本、文档文件夹监视等。

---

二、概览🎞️

1、Private ateGPT背后的动机

生成式人工智能改变了我们社会的游戏规则，但在各种规模的公司和医疗保健或法律等数据敏感领域的采用受到一个明显问题的限制：隐私。在使用第三方人工智能工具时，无法确保您的数据完全在您的控制之下，这是这些行业无法承担的风险。

---

2、原始版本

Private ateGPT的第一个版本于2023年5月推出，作为一种通过完全离线方式使用LLM来解决隐私问题的新方法。

该版本迅速成为隐私敏感设置的首选项目，并作为数千个以本地为重点的生成式人工智能项目的种子，是当今Private ateGPT的基础；因此，这是一个更简单、更具教育性的实现，可以理解构建一个完全本地的、因此也是类似私有聊天的工具所需的基本概念。

如果你想继续试验它，我们已经将它保存在项目的原始分支中。

如果您来自以前的原始版本，强烈建议您进行干净的克隆并安装此新版本的Private ateGPT。

---

3、PrivateGPT 的现在和未来

Private ateGPT现在正朝着成为生成人工智能模型和原语的门户发展，包括完成、文档摄取、RAG管道和其他低级构建块。我们希望让任何开发人员更容易构建人工智能应用程序和体验，并为社区提供合适的广泛架构，以继续做出贡献。

请继续关注我们的发布版本，查看包含的所有新功能和更改。

---

三、🧩架构

从概念上讲，Private ateGPT是一个包装RAG管道并公开其原语的API。

• 该API使用FastAPI构建，并遵循OpenAI的API方案。
• RAG管道基于LlamaIndex。

---

Private ateGPT的设计允许轻松扩展和调整API和RAG实现。一些关键的架构决策是：

• 依赖注入，解耦不同的组件和层。
• 使用LlamaIndex抽象，如LLM、BaseEmbedding或VectorStore，可以立即更改这些抽象的实际实现。
• 简单，添加尽可能少的层和新的抽象。
• 准备使用，提供API和RAG管道的完整实现。

---

主要构建块：

• API在private_gpt:server:<api>中定义。每个包包含一个<api>_router.py（FastAPI层）和一个<api>_service.py（服务实现）。每个服务使用LlamaIndex基础抽象而不是特定的实现，将实际实现与其使用分离。
• 组件放置在private_gpt:components:<component>中。每个组件负责为服务中使用的基本抽象提供实际实现——例如LLMComponent负责提供LLM的实际实现（例如LlamaCPP或OpenAI）。

---

2026-01-10（五）