guslegend的博客

本文探讨了通过事实验证链和溯源标注方案优化RAG与Agent性能，有效抑制大模型生成内容时的幻觉问题。文章指出传统RAG系统存在生成与证据脱节的局限，提出将溯源标注内置到生成过程中的解决方案。该方法通过结构化提示工程、编号知识片段输入和端到端证据绑定，确保每个关键陈述都有确切证据支持。文章还介绍了基于LlamaIndex和LangChain框架的具体实现方案，展示了如何通过验证结果、置信度评估和证据引用等结构化输出提升内容可信度。这种方案显著增强了可审计性、抑制了幻觉并优化了用户体验，实现了从"生

本文探讨了RAG与Agent性能调优中模型忽略关键实体的问题。当模型注意力机制未能充分关注关键实体时，会导致输出内容偏离主题或缺乏重要信息。文章提出了三种解决方案：1)优化提示词设计引导模型关注特定内容；2)利用命名实体识别技术动态提取关键信息；3)通过修改Attention层直接干预模型输出层的logits分布。重点介绍了第三种方法的技术实现，包括加载模型、定义关键词、注册hook函数等步骤，并分析了不同干预策略的优缺点。该方法可与提示词工程、RAG等技术结合，提升模型输出的准确性和相关性。

其是一个专为RAG系统设计和评估的工具，提供了以下核心指标Answer Relevance：生成的答案是否与问题相关？Context Precision：检索到的上下文是否相关？Context Recall：检索到的上下文是否包含回答所需要的信息Faithfulness：生成答案是否基于检索到的内容？

本文探讨了如何结合HiRAG理论和LlamaIndex框架解决政策文档检索中的关键问题。传统RAG系统在处理复杂结构化文档时存在上下文碎片化、语义关联缺失等局限。HiRAG通过分层知识索引（构建智能目录）、层次化知识检索（三级检索机制）和融合知识图谱，显著提升了检索精度。文章详细介绍了基于LlamaIndex的实现方法，包括分层解析文档、两阶段检索和增强生成三个核心步骤，并提供了代码示例展示如何利用AutoMergingRetriever组件实现智能上下文合并。实践表明，该方法能有效避免"断章取义

本文探讨了RAG与Agent性能调优中的多路召回融合问题，提出动态阈值机制优化方案。传统单一检索模式在复杂查询时召回能力有限，而多路召回通过并行检索（关键词、向量、知识图谱）显著提升覆盖率。核心创新点在于：1）引入基于置信度的动态融合机制，评估召回路径质量并调整权重；2）设置动态阈值筛选优质结果；3）结合LLM进行细粒度重排序。代码演示展示了LlamaIndex框架下实现多路召回、去重和动态阈值过滤的全流程。该方法有效解决了多源结果融合难题，确保高质量内容优先排序，提升系统稳定性和检索效果。

本文介绍了HyDE（假想文档扩展）技术在RAG（检索增强生成）系统中的核心应用。HyDE通过生成与用户问题相关的假设性文档，显著提升了语义检索的准确性和稳定性。关键技术包括：1）利用大模型生成假设答案文档；2）基于假想文档进行向量检索；3）结合标签提取技术实现精准过滤。实践表明，HyDE能有效解决冷启动问题，在亲子游推荐等场景中，使检索结果与真实答案的语义相似度达0.7249，且三次查询结果完全一致。该技术特别适合开放式问题，通过补充查询上下文，克服了传统RAG系统意图理解不足和结果不稳定的问题。

本文介绍了Faiss中HNSW索引的内存优化方案。通过对比原始HNSW索引与SQ8量化版本的表现，展示了量化技术在保持搜索精度的同时显著降低内存占用的效果。文章包含完整的代码示例，演示了两种索引的构建、查询和性能比较过程，其中SQ8量化将内存占用减少到原始HNSW的1/4，同时保持较高的召回率。最后讨论了SQ8与SQ16的适用场景差异，SQ8适合内存敏感场景，而SQ16更适合精度要求高的任务。

本文介绍了混合检索在RAG与Agent性能调优中的应用，通过结合关键词匹配（BM25）和语义搜索的优势，提升检索的全面性和准确性。文章详细说明了混合检索的架构设计，包括关键词匹配、语义搜索和结果重排序等组件，并展示了如何使用Milvus和LlamaIndex构建混合检索系统。通过调整alpha参数，可以灵活控制语义检索和关键词检索的权重，实现最优的检索效果。此外，还提供了Docker部署Milvus服务器和Python代码示例，帮助开发者快速实现混合检索功能。

本文对比了BM25、FAISS和HNSW三种检索引擎的性能特点和应用场景。BM25基于词频统计，冷启动快、资源消耗低，适合关键词匹配场景；FAISS支持大规模向量检索，GPU加速性能优异；HNSW采用图结构索引，在召回率和延迟方面表现突出。实验结果显示，三种引擎各有所长：BM25内存占用最低（约50MB），但召回率相对较低；FAISS和HNSW召回率更高（0.9+），但内存占用较大（200MB+）。文章提供了选型公式R=f(数据量,延迟,预算)，建议根据业务规模选择合适方案，并分享了包括数据预处理、维度选择

本文介绍了RAG与Agent性能调优的第8节内容，重点探讨如何构建可配置、可扩展的自动化预处理流水线。文章提供了Gitee开源项目地址(agiforgagaplus/OptiRAGAgent)，并包含完整的技术目录结构。作为系列教程的一部分，本节承接第7节关于图像切分和文本矫正的内容，为后续优化工作奠定基础。该预处理流水线设计强调灵活性和扩展性，旨在提升RAG系统的整体处理效率和质量。

本文介绍了PaddleOCR在文档处理中的关键优化技术。针对图像切分不合理问题，重点讲解了两个核心模块：文本图像矫正模块可纠正倾斜、变形等问题；版面区域检测模块能精准划分文档区域，避免信息冗余。针对表格处理，详细说明了表格分类、单元格检测和结构识别三大模块的协同工作流程，实现从图像到HTML结构化表格的完整转换。这些技术显著提升了OCR系统在处理复杂文档时的准确性和实用性，为构建高质量的OCR系统提供了重要保障。

本文探讨了OCR技术常见的文本识别错误问题及其解决方案。文章指出OCR识别常出现字符错误、遗漏、重复、格式混乱等错误，主要源于图像质量、字体复杂度等因素。传统优化方法包括图像预处理和模型微调，但效果有限。作者提出结合大语言模型(LLM)进行语义级纠错的新思路：先使用PaddleOCR进行初步识别，再将结果输入LLM进行优化。文中提供了详细的代码示例，展示如何使用PaddleOCRv5进行OCR识别及结果保存，并介绍了PP-ChatOCRv4的API调用方法。该方案能有效提升图像文本识别的准确性。

本文探讨了提升RAG系统召回率的动态切片策略与重叠机制。针对传统固定切块导致的语义碎片化问题，提出三种解决方案：1）动态切片策略（内容感知型、结构感知型和高级自适应型）；2）10-20%重叠机制；3）命题原子化检索技术。重点介绍了LlamaIndex的SemanticSplitterNodeParser工具，通过语义嵌入和相似度计算实现智能切分。文章还详细解析了DenseXRetrievalPack的命题化检索流程，强调"由小到大"的检索思想。实践建议根据文档类型选择合适策略：结构化文档

《RAG与Agent性能调优：智能切片策略解决语义割裂问题》 本文探讨了在RAG系统中解决文档切片语义割裂问题的优化方案。通过对比Token切片、句子切片和语义切片三种方法，提出融合滑动窗口与关键词检测的智能切片策略： 传统Token切片的局限性：强制截断导致语义断裂，依赖重叠补偿效果有限 滑动窗口机制：像移动观察框扫描文档，确保每个片段信息量充足 关键词动态调整：检测切片边界中断的关键词或语义单元，微调边缘位置 混合切分方案：结合语义切分的完整性和滑动窗口的大小可控性 实战演示：提供Python代码示例展

本文探讨了RAG系统中术语混淆问题的解决方案，提出通过构建精准术语词库来提升检索一致性。文章详细介绍了术语词库的构建流程，包括术语收集、标准化、别名映射和上下文信息添加等步骤，并展示了包含术语、别名、定义等关键字段的结构化词库设计。通过预处理阶段的术语替换、检索增强阶段的查询扩展以及生成控制阶段的术语验证，形成完整的术语一致性优化体系。文章还提供了Python代码示例，演示了术语处理器的实现及其在标准化、提取和检索增强中的应用，为解决RAG系统中的术语混淆问题提供了实用技术方案。

本文探讨跨页表格自动对齐与合并的关键技术。针对表头重复、行列错位等问题，提出基于表格结构识别(TSR)的解决方案，包括表头一致性检测、表格位置分析和自动拼接去重等方法。技术实现涵盖布局预测、文档格式检测、OCR处理等完整流程，最终输出结构化JSON/Markdown格式。该方案通过布局识别与OCR结合，显著提升了表格识别的准确率和RAG溯源能力。相关代码已开源在Gitee和GitHub平台。

本文探讨了RAG与Agent性能调优中多元文档格式统一的关键技术。针对Word、PDF等不同格式文档的解析难点，提出了基于Python-docx和pypdfium2等工具的统一处理方案，通过继承BaseExtractor基类实现标准化接口设计。重点解决了图片提取、表格识别等复杂内容处理问题，并采用unstructured库作为备选方案提升扩展性。统一格式后可为后续文本分割、向量化等操作提供标准化输入，有效提升信息检索效率与系统可靠性。