小志的博客

在处理大型数据集或长文档时，RAG 难以有效地归纳和总结复杂的语义概念。例如，试图从一份包含数百页的技术文档中提取关键要点，对 RAG 来说是极具挑战性的。这导致其在需要全面理解和总结复杂语义信息的场景中表现不佳。为了解决这些挑战，

本文介绍了RAG（检索增强生成）技术的演进过程，从基础的Naive RAG到优化流程的Advanced RAG，再到高度灵活的Modular RAG。Modular RAG通过模块化设计和智能编排（Orchestration）实现动态流程控制，其核心包括路由（Routing）、调度（Scheduling）和知识引导（Knowledge Guide）。路由模块通过查询分析和管道选择确定最优处理流程；调度模块管理执行顺序并判断检索需求；知识引导则结合知识图谱和推理路径提升复杂查询的处理能力。这种模块化架构显著提

本文系统梳理了RAG技术的演进过程，从基础Naive RAG到优化检索流程的Advanced RAG，再到灵活组合的Modular RAG。重点分析了Advanced RAG的优化策略：检索前通过分块、元数据、分层索引等技术提升检索精度；检索中采用动态嵌入、混合检索等方法增强语义匹配；检索后通过重排序、提示压缩等手段优化生成质量。通过实际案例对比，展示了Advanced RAG在复杂问题处理上的显著优势，为构建高效RAG系统提供了系统性的技术指导。

本文探讨了优化RAG（检索增强生成）系统检索精度的关键方法及效果评估体系。在优化方法方面，重点介绍了数据清洗预处理（去除冗余内容、格式标准化）、查询扩展（生成多角度子查询）、自查询（提取关键元数据）和提示压缩（过滤无关信息）四种技术。在评估体系方面，提出了模型打分与人工打分相结合的评估方式，并制定了CR检索相关性、AR答案相关性和F可信度三大核心指标，配套1.0-0分的四级评分标准。这些方法共同构成了提升RAG系统性能的完整解决方案，通过持续优化和评估可显著提高信息检索的准确性和生成结果的质量。

提示工程师的任务不仅仅是设计提示，而是通过深刻理解模型的功能和局限性，创造能够与模型输入产生最佳互动的提示。提示工程不仅仅是设计和开发提示，而是包含了一系列的技能和技巧，这些技能和技巧有助于与语言模型的有效互动和功能扩展。通过为模型设定特定的角色身份，可以帮助模型更好地理解任务要求和角色责任，从而输出更加一致、专业的内容。模糊的指示往往导致模型产生不理想的结果，而具体指令则有助于模型明确任务目标，生成更符合预期的内容。这些元素的组合和优化是提示工程的关键，能够直接影响大模型的性能和输出质量。

本文探讨了大模型在RAG（检索增强生成）系统中的核心作用及选型策略。RAG通过外部知识增强大模型的理解能力，使其成为系统的"大脑"。文章回顾了大模型的发展历程，从Transformer架构的突破到ChatGPT引发的AI热潮，并分析了中文大模型的发展现状。在模型选择方面，建议根据SuperCLUE等测评结果，结合开源/闭源、参数规模、部署环境等实际需求进行综合考量。闭源模型推荐通义千问、文心一言等，开源模型则建议考虑Qwen、Baichuan和ChatGLM系列。文章强调模型选择应平衡性

本文介绍了RAG系统中重排序技术（Reranking）的重要性和应用。重排序技术通过对初始检索结果进行重新排序，可以显著提升检索结果的相关性，为生成模型提供更优质的上下文。文章分析了重排序技术的三大优势：优化检索结果、增强上下文相关性和应对复杂查询。重点介绍了开源重排序模型bge-reranker-v2-m3的应用，并提供了完整的代码实现方案，包括环境配置、模型加载和重排序计算等核心步骤。通过实际代码示例展示了如何将重排序技术整合到RAG系统中，从而在保持检索效率的同时提高结果质量。文章还指出在实际应用中需

本文探讨了RAG（检索增强生成）中的混合检索技术，结合向量检索和关键词检索的优势提升搜索效果。向量检索擅长语义匹配，但在精确匹配、短词搜索等场景表现欠佳；关键词检索则能有效处理产品编号、低频词等特定查询。混合检索通过多路召回策略（如BM25算法+向量检索）综合不同检索结果，并采用重排序技术（如RRF算法）优化结果排序。实验数据表明，混合检索结合重排序能显著提升召回率和准确性。文章还提供了Python实战代码，演示如何集成BM25和jieba分词实现中文混合检索。这种技术组合为RAG系统提供了更全面、精准的检

本文介绍了向量数据库的分类、优势、工作原理及主流产品。向量数据库专为处理高维向量数据设计，相比传统数据库在语义相似性搜索方面具有显著优势。文章将向量数据库分为开源/商用、专用/支持向量搜索四大类，并详细阐述了其核心功能：高效索引、近似最近邻搜索及多模态数据处理能力。通过Chroma、Milvus等典型产品对比，指导开发者根据项目需求（如轻量部署、企业级扩展或多模态支持）选择合适的解决方案。最后以Chroma替换Faiss的RAG项目实践为例，展示了向量数据库在AI应用中的实际价值。

本文介绍了嵌入模型(Embedding Model)在RAG系统中的核心作用，包括将文本数据映射为高维向量表示的技术原理。文章首先解释了Embedding的基本概念，即通过向量捕捉文本语义信息，使相似内容在向量空间中距离更近。然后详细介绍了嵌入模型的发展历程，从早期的word2vec到当前主流的BERT等上下文敏感模型。在评估选择方面，建议参考MTEB/C-MTEB榜单，综合考虑检索精度、模型大小、支持文本长度等指标，并强调实际业务场景测试的重要性。最后提供了使用SentenceTransformers加载

本文介绍了RAG系统中的关键分块技术及其策略选择。分块技术通过将文档拆分为适当大小的片段，直接影响检索和生成质量。文章详细分析了6种分块策略：固定大小分块（基准方法）、重叠分块（保留上下文）、递归分块（按语义单元分割）、文档特定分块（针对格式）、语义分块（NLP技术）和混合分块（综合优势）。每种策略各有适用场景和局限性，需根据文档特点和查询需求选择。最后指出LangChain提供了对应实现方法，便于开发者集成使用。合理选择分块策略对提升RAG系统性能至关重要。

本文介绍了RAG系统中文档解析的关键技术，重点分析了如何通过LangChain的Document Loaders处理多种格式文档。文章指出高质量文档解析对RAG系统效果的决定性作用，并详细讲解了PDF、TXT、Word等常见格式的解析方法。作者提供了代码示例和Gitee开源项目链接，特别强调了PDF解析的深入方案，同时介绍了相关依赖库的安装配置。文章还展示了如何定义通用文档加载方法，为开发者提供了实用的技术参考。

本文介绍了基于LangChain框架构建RAG（检索增强生成）应用的技术方案，涵盖核心模块选型与实现流程。技术栈包括：LangChain应用框架、pypdf文档解析、RecursiveCharacterTextSplitter文本分块、bge-small-zh-v1.5向量模型、Faiss向量库和通义千问大模型。文章详细说明了开发环境配置步骤，包括虚拟环境创建、依赖库安装和模型下载。核心代码分为索引、检索、生成三大流程，索引流程完成PDF文档解析、分块和向量化存储；检索流程实现查询向量化和相似度匹配；生成流

本文介绍了RAG（检索增强生成）技术及其在大模型应用中的重要性。RAG通过结合外部知识库检索与大模型生成，解决了大模型存在的幻觉、知识时效性、领域知识不足和数据安全问题。文章详细阐述了RAG的标准流程（索引、检索、生成）及其在企业知识管理、客服系统等场景的应用优势，并与微调技术进行了对比，指出RAG更适合需要动态响应和实时更新的场景。该技术为大模型应用提供了更精准、安全的解决方案，是AI 2.0时代的重要技术方向。