优质开源AI项目-RAG框架/数据检索/Embedding分类-CSDN博客

本文链接：https://blog.csdn.net/2401_84204207/article/details/147767595

朋友们好，这是我的全新系列文章-《优质开源AI项目》。我收集了Github上热度最高的数百个AI领域的开源项目，按照开发者的视角做了分类，一共包含28个分类，分类列表如下图所示。

项目分类

如果你对AI感兴趣或者正在从事AI相关的工作，可以关注我。

今天要分享的是，RAG框架/数据检索/Embedding分类下的优质开源项目，这是该分类下的第1期。

01

ragflow

RAGFlow 是一个基于深度文档理解的开源 RAG（检索增强生成）引擎。

它为各种规模的企业提供精简的 RAG 工作流程，结合大语言模型（LLM）提供可靠的问答能力，并从各种复杂格式的数据中提供有理有据的引用。

官方介绍

RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.

RAGFlow 是一款基于深度文档理解的开源检索增强生成（RAG）引擎。

核心特性

深度文档理解：基于深度文档理解技术从非结构化数据中提取知识，能够在无限上下文的场景下快速完成"大海捞针"式的信息检索。
基于模板的文本切片：提供智能且可解释的文本切片方法，有多种文本模板可供选择，使文档处理更加灵活。
有理有据的引用：通过可视化的文本切片过程支持手动调整，提供关键引用的快照并支持追根溯源，最大程度减少幻觉（hallucination）。
兼容多种数据源：支持Word、幻灯片、Excel、文本、图像、扫描件、结构化数据、网页等多种格式的文档。
自动化RAG工作流：提供简化的RAG工作流程，减少用户的手动操作。
Agent机制：引入无代码工作流编辑器和基于图的任务编排框架，支持查询意图分类、对话引导和查询重写等功能。
多模态支持：支持使用多模态模型理解PDF和DOCX文件中的图像内容。
知识图谱提取：优化知识图谱的提取和应用，提供多种配置选择。
互联网搜索集成：结合互联网搜索（Tavily），实现类似Deep Research的推理功能。

项目截图

项目地址

https://github.com/infiniflow/ragflow

个人解读

RAGFlow项目在当前AI应用落地中具有重要价值。随着大语言模型的普及，如何让AI回答更加准确、有据可循成为关键挑战。RAGFlow通过其深度文档理解能力解决了这一问题，特别适合处理企业内部的大量非结构化文档数据。

该项目的主要价值在于：

提高信息检索质量：通过深度文档理解和多种检索策略，确保检索到的信息更加准确和相关。
减少AI幻觉：通过提供有据可循的引用，大大减少了AI回答中的幻觉问题，增强了可信度。
降低技术门槛：通过无代码工作流编辑器，使非技术人员也能构建复杂的RAG应用。
适应企业复杂数据：支持多种文档格式，能够处理企业中常见的各类文档，无需额外的格式转换工作。
可解释性和可控性：文本切片过程的可视化和手动调整功能，增强了系统的可解释性和可控性。

总的来说，RAGFlow是一个功能全面、易于使用的RAG引擎，对于需要构建基于企业知识库的AI应用的组织来说，是一个非常有价值的开源工具。

02

quivr

Quivr是一个基于生成式AI的"第二大脑"项目，它帮助用户构建个人知识库并通过检索增强生成（RAG）技术提供智能问答能力。

它作为一个核心RAG系统，让用户可以轻松地将各种文件导入，并基于这些知识进行智能交互。

官方介绍

在你的应用程序中集成生成式人工智能的有主见的检索增强生成（RAG）🧠 专注于你的产品，而非检索增强生成技术。可轻松集成到现有产品中并进行定制！支持任何大语言模型：GPT4、Groq、Llama。支持任何向量数据库：PGVector、Faiss。支持任何文件。随你所愿。

核心特性

专注的RAG系统：Quivr提供了一个有主见的、快速且高效的检索增强生成系统，让开发者可以专注于产品而非底层RAG实现。
多LLM支持：支持多种大语言模型，包括OpenAI、Anthropic、Mistral、Gemma等，用户可以根据需求选择不同的模型。
多文件格式支持：可处理多种文件格式，如PDF、TXT、Markdown等，并允许用户添加自定义解析器。
可定制的RAG工作流：允许用户自定义RAG流程，添加互联网搜索功能、集成外部工具等。
与Megaparse集成：与Megaparse工具集成，提供更强大的文件解析和摄取能力。
简单易用的API：只需几行代码即可创建一个功能完整的RAG系统，使开发者能够快速集成到自己的应用中。
灵活的配置系统：通过YAML配置文件可以轻松调整RAG工作流、重排序器、LLM参数等。

项目截图

项目地址

https://github.com/QuivrHQ/quivr

个人解读

Quivr项目的价值在于它大大简化了构建智能知识库和问答系统的复杂性。

在当前AI应用开发中，RAG系统是连接用户数据与大语言模型的关键桥梁，但构建一个高效的RAG系统需要处理文档解析、向量存储、上下文管理、查询重写等多个复杂环节。

Quivr通过提供一个开箱即用的解决方案，让开发者可以专注于业务逻辑而非底层实现。

它的模块化设计和灵活配置使其适用于多种场景，从个人知识管理到企业级应用。特别是对于想要快速构建基于自有数据的AI应用的开发者来说，Quivr提供了一条捷径。

03

Langchain-Chatchat

官方介绍

Langchain-Chatchat（原Langchain-ChatGLM）是基于Langchain以及ChatGLM、Qwen和Llama等语言模型的检索增强生成（RAG）和智能体（Agent）应用 | Langchain-Chatchat（前身为langchain-ChatGLM），是借助langchain实现的基于本地知识的大语言模型（如ChatGLM、Qwen和Llama）的RAG和Agent应用

核心特性

多模型支持 - 支持主流开源LLM、Embedding模型与向量数据库，可实现全部使用开源模型离线私有部署，同时也支持OpenAI等API调用
知识库问答 - 实现加载文件→读取文本→文本分割→向量化→匹配相似文本→生成回答的完整RAG流程
Agent能力 - 针对ChatGLM3和Qwen等模型优化的Agent功能，支持工具调用和复杂任务解决
多种对话模式 - 支持LLM对话、知识库对话、搜索引擎对话、文件对话、数据库对话等多种交互方式
多模态支持 - 支持图片对话、文生图等多模态功能
灵活部署方式 - 提供pip安装、源码安装和Docker部署等多种部署方式
友好的用户界面 - 基于Streamlit的WebUI和基于FastAPI的API接口，支持多会话和自定义系统提示词

项目截图

项目地址

https://github.com/chatchat-space/Langchain-Chatchat

个人解读

Langchain-Chatchat项目在国内开源大模型应用领域具有重要价值。它解决了企业和个人在使用大模型时的几个关键痛点：

首先，它提供了完整的离线部署方案，解决了数据隐私和安全问题，适合对数据敏感的场景。其次，它将复杂的RAG和Agent技术封装成易用的应用，降低了技术门槛，使非专业人士也能快速构建智能应用。

该项目特别关注中文场景优化，填补了国际项目在中文支持上的不足。从项目发展历程看，它从2023年4月发布至今持续迭代，已获得超过20K stars，说明社区认可度高。

对于开发者，它是学习RAG和Agent实现的优秀教材；对于企业，它是快速构建知识库问答系统的成熟方案；对于研究人员，它提供了将最新模型整合到应用中的便捷途径。

总之，Langchain-Chatchat是连接大模型能力与实际应用场景的重要桥梁，为国内AI应用生态做出了显著贡献。

04

khoj

Khoj是一个开源的个人AI助手，它能够扩展用户的认知能力，帮助用户管理和利用个人知识库。它可以从本地部署扩展到云端企业级应用，支持与用户的文档和互联网进行交互，提供智能搜索、聊天和代理功能。

官方介绍

你的人工智能第二大脑。可自行托管。从网络或你的文档中获取答案。构建自定义智能体，安排自动化任务，进行深入研究。将任何在线或本地大语言模型转化为你个人的、自主的人工智能（如GPT、Claude、Gemini、Llama、Qwen、Mistral）。立即免费开启。

核心特性

智能搜索 - 使用自然语言查询快速找到相关文档，支持语义搜索，能够理解查询的含义而不仅仅是关键词匹配。
上下文聊天 - 基于用户的个人知识库和互联网信息提供回答，支持多轮对话，可以使用在线或离线的AI模型。
多种文档支持 - 能够处理PDF、Markdown、Org-mode、Word文档和Notion页面等多种格式的文件。
多平台接入 - 可以通过Web浏览器、Obsidian插件、Emacs客户端、桌面应用和WhatsApp等多种方式访问。
自定义代理 - 允许用户创建具有特定知识库、工具和能力的AI个性，可以承担不同角色和任务。
代码执行 - 能够生成和运行Python代码，用于数据分析和自动化任务，弥补LLM在复杂定量任务上的不足。
语音交互 - 支持与Khoj进行语音对话并听取回应，提供更自然的交互方式。
图像生成 - 基于文本描述创建图像，扩展AI助手的创造能力。
网络研究 - 获取互联网信息以补充个人知识库，支持更全面的信息检索。
灵活部署 - 提供多种部署选项，包括完全本地离线模式、本地服务器配合在线LLM、以及云服务，满足不同的隐私和功能需求。

项目截图

项目地址

https://github.com/khoj-ai/khoj

个人解读

Khoj项目在当前AI工具爆发的时代具有独特价值。它解决了个人知识管理与AI能力结合的关键问题，让用户能够以自然的方式与自己的知识库进行交互。

与纯商业AI产品相比，Khoj的开源特性使其更具透明度和可定制性，用户可以根据自己的需求进行调整。特别是在隐私敏感的场景下，Khoj的本地部署选项让用户能够在不将数据发送到外部服务器的情况下使用AI功能，这对于处理敏感信息的专业人士尤为重要。

Khoj的多平台支持策略也非常明智，通过集成到Obsidian、Emacs等已有的知识管理工具中，降低了用户的使用门槛。同时，它的模块化架构使其能够随着AI技术的发展不断更新和改进。

总的来说，Khoj代表了个人AI助手的一个重要发展方向 - 不仅仅是一个通用的聊天机器人，而是一个能够理解用户个人上下文、帮助用户组织思想和知识的智能工具。它为知识工作者提供了一种将AI融入日常工作流程的实用方式，有潜力显著提高信息检索、研究和创作的效率。

05

kotaemon

官方介绍

An open-source RAG-based tool for chatting with your documents.

一款基于检索增强生成（RAG）技术、可让你与文档进行对话的开源工具。

核心特性

多用户登录系统：支持多用户登录，用户可以组织私有/公共文档集合，协作并分享聊天记录。
LLM和嵌入模型管理：支持本地LLM和流行的API提供商(OpenAI、Azure、Ollama、Groq等)，用户可以轻松配置和管理模型。
混合RAG检索管道：结合全文搜索和向量搜索的混合检索器，并使用重排序技术确保最佳检索质量。
多模态问答支持：支持包含图表和表格的多文档问答，支持多模态文档解析(UI上可选)。
高级引用与文档预览：系统提供详细引用以确保LLM回答的正确性，可在浏览器内PDF查看器中直接查看引用(包括相关性评分)并高亮显示，当检索管道返回低相关性文章时会发出警告。
支持复杂推理方法：使用问题分解来回答复杂/多跳问题，支持基于代理的推理，如ReAct、ReWOO等代理。
可配置的设置界面：用户可以在UI上调整检索和生成过程的大多数重要方面(包括提示词)。
可扩展性：基于Gradio构建，开发者可以自由定制或添加任何UI元素，同时支持多种文档索引和检索策略，如GraphRAG索引管道。

项目截图

项目地址

https://github.com/Cinnamon/kotaemon

个人解读

Kotaemon项目在当前AI应用领域具有重要价值，主要体现在以下几个方面：

首先，它解决了企业和个人用户与私有文档进行智能交互的需求。随着文档数量的增加，传统搜索方式已经难以满足快速获取精确信息的需求，而Kotaemon通过RAG技术提供了一种更智能的方式来查询和理解文档内容。

其次，该项目的设计同时考虑了终端用户和开发者的需求。对于普通用户，它提供了直观的界面和完整的文档管理功能；对于开发者，它提供了可扩展的框架，允许自定义RAG管道和UI组件，这种双重定位使其具有更广泛的应用场景。

最后，项目的开源性质和模块化设计使其具有很强的适应性。用户可以根据自己的需求选择不同的LLM模型、嵌入模型和检索策略，无论是追求高性能的企业用户还是资源有限的个人用户，都能找到适合自己的配置方案。

总的来说，Kotaemon为构建智能文档问答系统提供了一个完整而灵活的解决方案，它不仅可以直接用于生产环境，也可以作为开发者构建自定义RAG应用的基础框架。

结语

我的文章中会分享最新AI动态，最前沿AI技术，挑选最优质AI资源，深入解读AI技术原理。

涉及AI的各个方面，包含大模型基础理论研究、多模态、模型微调技术、智能体搭建、提示词工程、RAG架构、工作流、开发框架、Manus、MCP、DeepResearch、多智能体、AI基础设施、智能场景、行业垂直应用、ChatBot、代码助手、AI教程、论文、学习资料等。我喜欢画图和做设计，文章中会有很多颜值还不错的架构图、流程图、原理图等。

如果您觉得我的文章对您有帮助，请不要吝啬您的赞美。您的支持是我最大的动力！

一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

* 大模型 AI 能干什么？
* 大模型是怎样获得「智能」的？
* 用好 AI 的核心心法
* 大模型应用业务架构
* 大模型应用技术架构
* 代码示例：向 GPT-3.5 灌入新知识
* 提示工程的意义和核心思想
* Prompt 典型构成
* 指令调优方法论
* 思维链和思维树
* Prompt 攻击和防范
* …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

* 为什么要做 RAG
* 搭建一个简单的 ChatPDF
* 检索的基础概念
* 什么是向量表示（Embeddings）
* 向量数据库与向量检索
* 基于向量检索的 RAG
* 搭建 RAG 系统的扩展知识
* 混合检索与 RAG-Fusion 简介
* 向量模型本地部署
* …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

* 为什么要做 RAG
* 什么是模型
* 什么是模型训练
* 求解器 & 损失函数简介
* 小实验2：手写一个简单的神经网络并训练它
* 什么是训练/预训练/微调/轻量化微调
* Transformer结构简介
* 轻量化微调
* 实验数据集的构建
* …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

* 硬件选型
* 带你了解全球大模型
* 使用国产大模型服务
* 搭建 OpenAI 代理
* 热身：基于阿里云 PAI 部署 Stable Diffusion
* 在本地计算机运行大模型
* 大模型的私有化部署
* 基于 vLLM 部署大模型
* 案例：如何优雅地在阿里云私有部署开源大模型
* 部署一套开源 LLM 项目
* 内容安全
* 互联网信息服务算法备案
* …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】