RAGFlow: 一个完整的RAG使用解决方案

最新推荐文章于 2025-02-27 10:22:57 发布
最新推荐文章于 2025-02-27 10:22:57 发布
阅读量3.6k 收藏 13
点赞数 17
文章标签： 人工智能 RAG LLM 自然语言处理 langchain 程序员 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/144426578
版权

概述

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

在这里插入图片描述

特性

1. “Quality in, quality out”

  • 基于深度文档理解，能够从各类复杂格式的非结构化数据中提取真知灼见。

  • 真正在无限上下文（token）的场景下快速完成大海捞针测试。

2. 基于模板的文本切片

  • 不仅仅是智能，更重要的是可控可解释。

  • 多种文本模板可供选择

3. 有理有据、最大程度降低幻觉（hallucination）

  • 文本切片过程可视化，支持手动调整。

  • 有理有据：答案提供关键引用的快照并支持追根溯源。

4. 兼容各类异构数据源

  • 支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。

5. 全程无忧、自动化的 RAG 工作流

  • 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。

  • 大语言模型 LLM 以及向量模型均支持配置。

  • 基于多路召回、融合重排序。

  • 提供易用的 API，可以轻松集成到各类企业系统。

在这里插入图片描述

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

LLM.
关注
RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU
人工智能
04-06 282
在RAG场景下，我们所遇到的文档格式可不仅仅局限于txt文件，而对于复杂的PDF文件，里面有图片格式的Excel、图片格式的文字、以及公式等等复杂的格式，我们很难用传统的方式去解析预处理成我们可以用的类似于TXT格式的纯文本。
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
丨汀、的博客
08-27 1029
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
基于RAGFlow实践Agent——构建智能客服
python1222_的博客
11-14 9156
前文：智能客服的应用场景非常广泛，如商品咨询，售后问答，配件更换，转人工客服等场景。今天将给大家介绍如何使用 RAGFlow 的来搭建一个商品智能客服，实现能够针对上述四种场景给出不同的解决方案。RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为不同规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
DeepSeek在windows本地部署
weixin_42049123的博客
02-07 3971
最近大火的deepseek,在使用网页API交流的时候经常失败，就研究如何部署在本地，发现deepseek真的是拉低了大模型使用的门槛，部署十分简单，大家可以试试。
一文读懂RAGFlow：从 0 到 1教你搭建RAG知识库
热门推荐
Z987421的博客
02-27 1万+
RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1417
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
《开源大模型食用指南》发布，7个小时，一杯奶茶速通大模型！
Datawhale
01-08 1344
Datawhale开源开源贡献：Datawhale self-llm团队前 言《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生...
【开源项目】MaxKB+Ollama：构建私有化知识库问答系统
m0_59235245的博客
06-12 4870
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；：支持零编码快速嵌入到第三方业务系统；：支持对接主流的大模型，包括 Ollama 本地私有大模型（如 Llama 2、Llama 3、qwen）、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。
开源项目QAnything：全能型本地知识库问答系统
人工智能讲师分享前沿技术
06-14 3838
在当今信息爆炸的时代，如何高效地管理和检索大量数据成为了一个重要课题。网易有道推出的开源项目QAnything，正是为了解决这一问题而生。QAnything是一个本地知识库问答系统，支持多种文件格式和数据库，允许用户在离线状态下进行安装和使用。用户只需将任何格式的本地存储文件放入系统，即可获得准确、快速且可靠的答案。
RAGFlow：引领OCR与文档解析技术革新的下一代RAG引擎
xzq_qzx_的博客
04-28 2737
在人工智能的蓬勃发展浪潮中，检索增强生成（RAG）技术凭借其独特优势，迅速成为研究和应用的焦点。RAG技术巧妙地将大型语言模型（LLMs）的卓越生成能力与高效的信息检索系统相结合，为用户带来前所未有的交互体验。然而，随着技术的深入应用，一系列挑战也逐渐浮出水面。现有的RAG系统在处理海量数据时，常常面临效率和准确性的双重考验。尽管LLMs在生成流畅文本方面表现出色，但在面对复杂、非结构化的数据时，它们往往难以精准捕捉和提取关键信息。
RAGFlow:安装与体验
xzq_qzx_的博客
04-28 1万+
这里囫囵吐糟的review了下相关代码，可以看到RAGFlow在工程方面做了较多的工作，和微调的模型结合产生了良好的化学反应，通过一些工程的优化解决模型的badcase，最终做出了体验较好的产品，这是RAG文档解析的光明大道。
RAG 工业落地方案框架（Qanything、RAGFlow、FastGPT、智谱RAG）细节比对
强化学习曾小健
07-28 2331
原文：https://zhuanlan.zhihu.com/p/704828374。没有最好，在自己业务的数据上，能落地就是最好的～。，让模型生成有用的答案。这三个步骤虽然看似简单，但在。1、Qanything rerank模块设计的最好。4、智谱RAG，在领域数据上微调训练最好。所谓 RAG，简单来说，包含三件事情。从构建到落地实施的整个过程中，涉及较多。第三，Generation。下面分别按照模块比较各框架的区别。文档解析、切片、query改写。有用的，给到模型参考。数据处理+index。
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝
09-02
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程_self-llm
MaxKB 结合 DeepSeek 实现基于 LLM 大语言模型的知识库问答系统
ws_zzzz的博客
07-08 5195
性能卓越DeepSeek-V2模型参数量达到了惊人的236B，每个token激活21B参数，支持长达128K token的上下文长度，性能直逼GPT-4-Turbo。在中文综合能力评测中，DeepSeek-V2超越了所有开源模型，与GPT-4-Turbo等行业巨头处于同等水平。在英文综合评测中，与最强的开源模型LLaMA3-70B处于同一梯队，超过最强MoE开源模型Mixtral8x22B。在知识、数学、推理、编程等多个领域的专项基准测试中均表现出色。低成本高效能。
2023大模型安全解决方案白皮书
12-06 1069
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
33页PDF | 2024年中国金融大模型产业发展洞察报告（附下载）
xxue345678的博客
11-14 672
AI Agent智能体将推动大模型能力的落地应用，金融大模型未来将与其他技术协同应用，承担更重要的金融投资角色，但需解决技术、业务与合规方面的应用困境。金融大模型由通用大模型基座、专用模型工具链、私域业务场景训练三部分组成，具有降低成本、保留差异化竞争空间、与底层模型同步迭代、模型精准、结果可靠、产品结构轻量化、应变能力强、维护及迭代成本低等优势。通过对行业深耕程度、产品与技术能力、服务能力及生态能力四个核心维度的评估，评选出东方财富、马上消费、奇富科技等20家中国金融大模型产业卓越服务厂商。
从0入门大模型，看这5本就够了！
图灵教育
06-25 419
随着人工智能技术的飞速发展，大模型已经成为推动这一领域进步的核心力量。它们通过处理海量数据，学习复杂的模式和关系，为各种应用提供了强大的智能支持。从语音识别到自动驾驶，再到个性化推荐系统，大模型正在不断地改变我们的生活和工作方式。然而，对于初学者来说，大模型的世界可能显得既神秘又难以接近。熟练掌握大模型的知识和技能在未来职场将是一项基本要求。无论是为了提升自己的技术能力，还是为了在职场上保持竞争力...
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1582
AI菜鸟向前飞 — LLM简介
书单 | 6本AI领域名家名作，大模型时代，趁风而起！
2401_84495872的博客
05-08 2479
大模型时代，想抓住风口吗？本期书单就来分享，给大家把大模型时代那些事儿讲清楚！放心，入门的同学也可以从最基础的学起~~快来看看有哪些书吧……▊《彭勇，彭旋，郑志军，茹炳晟 著读懂ChatGPT的核心技术、GPT的进化史和创新点详述多模态大模型的核心技术和应用场景让中小公司可以从0到1部署多模态大模型，打开通往通用人工智能的大门本书详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。
RAGflow openAI框架调用agent api
最新发布
03-15
<think>好的，我现在需要帮助用户解决在RAGFlow中使用OpenAI框架调用Agent API的问题。用户已经提供了相关的引用内容，我需要结合这些信息来生成一个示例教程。首先，我需要确认RAGFlow的架构和它与OpenAI的集成方式。根据引用[2]，RAGFlow是一个基于深度文档理解的开源RAG引擎，支持复杂格式数据的处理，并且结合了大语言模型。用户想了解如何通过OpenAI框架调用其Agent API，所以我需要先理解RAGFlow的API接口和Agent的工作流程。 接下来，我应该考虑RAGFlow的文档结构，是否有现成的API文档或者开发者指南。假设用户需要的是具体的代码示例，我需要构造一个可能的步骤流程，比如设置API密钥、构建请求、处理响应等。可能需要使用Python作为示例语言，因为很多AI框架常用Python。 然后，我需要确保示例中正确引用了OpenAI的库，比如openai库，以及RAGFlow可能需要的其他依赖。同时，要考虑到错误处理和参数设置，比如temperature参数控制生成结果的随机性。此外，用户可能需要了解如何传递文档路径或内容到API请求中，以便RAGFlow进行检索增强生成。 可能还需要提到RAGFlow的本地部署情况，因为引用[2]提到它支持私有化部署，所以示例可能需要包含本地服务器的端点配置。另外，要确保引用的格式正确，如引用[^2]在适当的位置。 最后，生成的相关问题需要围绕用户可能的后续疑问，比如认证方式、数据处理、结果优化和调试方法等。需要确保这些问题与主题相关，并且能够帮助用户深入理解如何在RAGFlow中有效使用OpenAI的Agent API。</think>以下是在RAGFlow中通过OpenAI框架调用Agent API的示例教程： ### 一、环境准备 1. 安装RAGFlow最新版本（建议v0.3.0+） 2. 获取OpenAI API密钥，确保已开通GPT-3.5/4接口权限 3. 配置RAGFlow的本地服务端点（默认`http://localhost:9380`） ### 二、基础调用示例 ```python import openai from ragflow import RAGClient # 初始化配置 openai.api_key = "sk-your-openai-key" rag_client = RAGClient( base_url="http://localhost:9380", api_key="ragflow-api-key" ) # 创建Agent工作流 def create_rag_agent(query: str, document_path: str): # 文档解析阶段 parsed_doc = rag_client.parse_document( file_path=document_path, chunk_size=512 ) # 检索增强阶段 context = rag_client.retrieve( query=query, top_k=3, similarity_threshold=0.7 ) # 调用OpenAI生成 response = openai.ChatCompletion.create( model="gpt-4", messages=[ {"role": "system", "content": "你是一个智能文档助手"}, {"role": "user", "content": f"基于以下上下文：{context}，回答问题：{query}"} ], temperature=0.5 ) return response.choices[0].message.content ``` ### 三、核心参数说明 1. 文档解析参数： - `chunk_size`: 文本分块大小（建议512-1024） - `parser_type`: 支持PDF/DOCX/Markdown等格式[^2] 2. 检索参数： - `top_k`: 返回的上下文片段数量 - `similarity_threshold`: 相似度过滤阈值 3. OpenAI参数： - `temperature`: 控制生成随机性（0-2） - `max_tokens`: 最大输出长度 ### 四、增强功能示例（带引用溯源） ```python # 获取带引用的响应 def get_response_with_citations(query): result = rag_client.query( query=query, llm_config={ "provider": "openai", "model": "gpt-4-1106-preview", "temperature": 0.3 }, return_references=True # 启用引用溯源功能 ) print(f"答案：{result.answer}") for ref in result.references: print(f"引用文档：{ref.document} 页码：{ref.page}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值