舒一笑的博客

摘要 本文探讨了如何构建有效的AI代理系统，比较了工作流（预定义代码路径）与代理（动态决策系统）的区别。文章建议从简单方案开始，仅在处理复杂任务时才采用代理系统，并介绍了多种实现框架（如LangGraph、Bedrock等）及其优缺点。核心部分详细分析了五种常见模式：提示链、路由、并行化、协调器-工作者和评估器-优化器工作流，以及自主代理的适用场景。文章强调工具设计的重要性，并建议在沙盒环境中测试代理系统，同时提供具体应用案例（如编码代理和计算机使用实现）来说明代理系统的实际价值。

本文介绍了一个自适应检索增强生成(RAG)系统，该系统通过动态选择最优检索策略来提升回答质量。系统首先对查询进行分类（事实型、分析型等），然后选择相应的检索技术生成定制化回复。技术实现包括：PDF文本提取、文本分块处理、阿里云向量生成和简单向量数据库管理。系统使用通义千问大模型和text-embedding-v2嵌入模型，可自动处理各种查询类型，并通过模块化设计实现高效检索和响应生成。文中还展示了核心代码模块，包括配置类、PDF提取、文本分块、向量生成和向量存储功能。

本文介绍了一个带有反馈循环机制的动态RAG系统实现方案。该系统通过用户反馈持续优化检索结果，包含PDF文本提取、分块处理、向量生成、向量库构建等核心模块。具体实现包括：使用Python提取PDF文本并分块处理，调用阿里云API生成文本向量，构建支持元数据管理的简单向量库，以及收集存储用户反馈的机制。与传统静态RAG系统相比，该方案能记忆有效交互、调整文档相关性评分，逐步提升响应质量。代码展示了从PDF处理到反馈收集的完整流程，为构建自适应知识问答系统提供了可行方案。

本文介绍了RAG系统中提高效率的上下文压缩技术，通过过滤和压缩检索文本块来保留最相关信息。主要内容包括：1) 上下文压缩的作用是删除无关内容，聚焦查询相关信息；2) 实现流程涵盖PDF文本提取、分块处理、向量生成和存储；3) 关键代码提供了从PDF提取文本、分块处理、生成向量及构建向量库的具体实现；4) 压缩函数利用LLM根据查询保留相关内容，提供选择性提取、摘要和抽取三种压缩方式。该系统能有效减少噪音，提升响应质量。

RSE技术提升RAG系统性能 相关段提取（RSE）技术通过识别文档中连续的文本段，为语言模型提供更连贯的上下文。该方法基于"相关块聚集"假设，通过计算文本块与查询的相关性分数（减去惩罚值irrelevant_chunk_penalty），筛选出真正相关的连续片段。惩罚值调节片段选择精度，值越大结果越精确但可能遗漏边缘内容。 实现流程包括： 从PDF提取原始文本 固定大小分块（无重叠） 使用阿里云模型生成文本向量 构建向量库并执行相似度搜索 计算相关性分数时应用惩罚值，有效过滤无关内容 该

摘要 本文介绍了RAG重排序技术及其实现细节。重排序作为检索增强生成(RAG)系统中的关键步骤，旨在提升检索内容的相关性。文章首先概述了重排序流程的四个关键环节：初始检索、文档评分、重新排序和内容选择。随后详细展示了具体代码实现，包括PDF文本处理与分块、阿里云向量生成、简单向量存储系统构建等核心模块。特别介绍了使用LLM进行重排序的方法，通过构造特定提示语让大语言模型对检索结果进行相关性评分。整体实现提供了完整的文档处理流程，从PDF解析到最终重排序，展现了RAG系统中提高检索质量的实用技术方案。

本文介绍了一种增强型RAG系统，采用三种查询转换技术提升检索性能：1）查询重写技术使查询更加具体详细；2）退步提示生成更宽泛的背景性问题；3）子查询分解将复杂问题拆解为简单子问题。文章详细展示了各技术的Python实现代码，包括查询重写函数rewrite_query、退步提示函数generate_step_back_query和子查询分解函数decompose_query。同时介绍了PDF文本处理流程，包括文本提取函数extract_text_from_pdf和分块函数chunk_text，最后通过crea

本文提出了一种通过问题生成增强RAG（检索增强生成）的方法。该方法为每个文本块生成相关问题，改进检索过程以获得更准确的响应。实现步骤包括：1）从PDF提取文本并分块；2）为每个块生成相关问题；3）创建文本和问题的嵌入向量；4）构建向量存储并进行语义搜索；5）生成最终响应并评估质量。文中提供了完整的Python实现代码，涵盖文本提取、分块、问题生成（使用Qwen模型）、向量嵌入（阿里模型）以及简单的向量存储类。实验表明，该方法能有效提升RAG系统的检索精度和响应质量。

摘要：本文提出了一种基于上下文标头的RAG优化方法（CCH），通过在文本块中添加标题信息提升检索质量。方法包含六个步骤：数据摄取、带标头的组块、嵌入创建、语义搜索、响应生成和质量评估。关键技术包括使用Qwen模型自动生成文本块标题，结合阿里嵌入模型进行向量化检索，并通过余弦相似度计算匹配度。实验表明，该方法能有效防止信息割裂，提高回答准确性，如Java面试题案例所示。（149字）

摘要： 检索增强生成（RAG）结合上下文丰富检索技术，通过提取PDF文本并分块（含重叠内容）以保留上下文关联，生成文本嵌入向量后，检索相关块及其相邻内容，提升回答完整性。系统使用阿里云API，流程包括：PDF文本提取、分块处理、批量嵌入生成、上下文感知检索及语言模型响应生成与评估。代码实现涵盖了环境配置、PDF处理、分块优化、嵌入创建及批处理逻辑，确保高效检索与响应质量。

本文介绍了如何实现一个基础的RAG（检索增强生成）系统，主要包括以下步骤： 使用PyMuPDF库从PDF文件中提取文本内容，通过遍历PDF页面获取完整文本。 对提取的文本进行分块处理，设置固定字符长度和重叠区域，以便后续处理。 展示了智谱AI API的基本调用方式，为后续实现检索和生成功能做准备。 提供了完整的代码示例，包括文本提取、分块处理等核心功能，并展示了实际运行效果。 该系统可作为入门级RAG实现的基础框架，为进一步开发更复杂的检索增强生成应用提供了起点。

LangChain是一个开源框架，主要用于构建基于大语言模型（LLM）的AI应用。它提供文档加载处理、文本分割、向量存储、链式调用等功能，支持RAG（检索增强生成）等复杂场景。主要竞争对手包括LlamaIndex（专注RAG）、Haystack（企业级搜索）、微软的Semantic Kernel（多语言支持）、AutoGPT（自动化代理）和Chroma（轻量级向量存储）。各框架适用场景不同：LangChain适合原型开发，LlamaIndex擅长知识库搜索，Haystack适用于生产环境，Semantic