Harry的博客

Long Tail 并不是一个“边缘问题”，而是大语言模型的核心挑战之一。数据是长尾分布 → 模型学习不均 → 低频知识表现差 → 导致幻觉 → 需要 RAG 或 Fine-tuning 补偿理解 Long Tail，有助于我们：更理性地看待模型能力更有效地设计系统架构更精准地选择解决方案从更底层来看，Long Tail 甚至不是可以被完全消除的问题，而是数据世界的基本规律。真正的挑战，是在这个规律之上构建可靠的智能系统。

RAG：从文档中检索相关文本 → 输入给大模型生成答案GraphRAG：将知识构建为“图”（Graph）→ 利用实体和关系进行检索和推理也就是说，GraphRAG不仅知道“有哪些信息”，还知道这些信息之间的关系。GraphRAG可以通过“社区检测”（community detection）对信息进行分组，从而生成更高质量总结。如果你的问题依赖“关系”，而不仅仅是“内容”，就应该考虑 GraphRAG。

Anthropic 的本质上是在传统 RAG 的基础上加入“语境意识”，用 AI 生成的简短上下文来帮助检索，让模型更清楚地理解片段的背景和含义。相比传统方法，它能显著提高检索的准确性与可用性，是构建高质量 RAG 系统时一个强有力的技术升级。参考资料。

抽取式总结（Extractive Summarization）原理：从原文中抽取最重要的句子或片段，组成总结。优点：生成内容真实，不容易出现语义错误。缺点：总结可读性可能较差，缺少自然衔接。生成式总结（Abstractive Summarization）原理：使用模型生成新的文本，总结原文的主要意思。优点：可生成自然流畅、可读性高的摘要。缺点：生成结果可能存在事实错误（hallucination）。在现代 NLP 应用中，生成式总结尤其受到关注，尤其是结合大语言模型（LLM）的方法。

如果你在做文档处理 + LLM 应用，推荐直接用，它的优势在于：输出 Markdown，结构保留度高支持分页、分块，非常适合 RAG图片、表格、列表、样式都能提取与 LlamaIndex 等生态无缝对接一句话总结：👉它是目前最实用的 PDF → LLM 数据转换工具之一。

DBSF 是一种基于统计分布的分数融合方法通过 μ±3σ 截断 + 标准化 + 相加，实现多检索器结果的稳健融合适合分布差异大没有明确权重先验的场景实现简单，可用 Python 自定义，也可以使用如LlamaIndexQdrantUpstash等系统内置功能。

统一格式：把文档转成 Markdown，文字和图片共存。增强图片语义：OCR + 图像描述，保证可检索。混合存储：文本进向量库，图片进对象存储。智能回显：回答中返回 Markdown，前端渲染。这样，知识问答系统不仅能“说清楚”，还能“展示出来”，让用户获得更直观的体验。写在最后让机器看懂（OCR/Caption）让用户看见（Markdown 回显）随着多模态大模型的发展，未来我们甚至可以直接把图片作为输入，让模型原生理解和检索。但在当下，以上方案已经能很好地支持知识问答和智能体应用。

MarkItDown 是一个轻量级的 Python 工具，旨在将多种文件格式转换为 Markdown 格式，特别适用于 LLM 和相关的文本分析管道。与 Pandoc 等工具相比，MarkItDown 更加专注于保留文档的结构和内容，如标题、列表、表格、链接等，输出的 Markdown 格式既适合人类阅读，也适合机器处理。

在现代 AI 应用中，将文本内容结构化为知识图谱是一种非常实用的方法，可以帮助我们更高效地进行信息查询、知识推理和数据分析。本文将结合和实战代码，演示如何使用将文本内容自动转换为知识图谱。

传统的聊天机器人往往是「短期记忆」：只记住本轮对话内容。而 Zep 则进一步赋予 AI 「长期记忆」：它能管理用户信息、保存对话线程、抽取知识图谱，并支持高效的检索和推理。对于想要打造真正个性化 AI 助手的开发者来说，Zep 提供了一套非常实用的工具。未来我们还可以基于这些记忆能力，构建更加智能、持久且个性化的 AI 应用。

在 LangGraph 里，状态（State）就是节点之间传递的数据结构。这里我们用messages来存储对话历史，并用来定义合并规则。的作用是告诉 LangGraph：当多个节点都往messages里写数据时，不要覆盖，而是追加。这样才能维持完整的对话历史。我们的核心节点就是调用 LLM（通义千问）：可以改成其它的大语言模型这里。这里：（对话历史）输出：新的消息（由 LLM 生成）LangGraph 会自动把它合并到messages里。

表格填补是RAG分块中常见的需求，但不同格式的表格处理方式有所不同。本文将对的合并单元格进行说明，并给出 Python 示例，演示如何解析和填补。

单节点工作流—— 最小可运行示例。多节点顺序执行—— 构建处理链路。条件分支—— 根据输入动态走不同路径。并行执行—— 多个节点同时运行，最后汇合结果。这三种能力基本覆盖了大多数应用场景。并行节点：让多个节点同时运行。循环逻辑：实现循环处理，直到满足条件。结合 LLM：在节点中调用大语言模型，构建智能对话 Agent。LangGraph 的图式工作流思想能让你的代码更直观、可维护，是构建复杂 AI 应用的利器。

HyDE 的全称是，直译为“假设文档嵌入”。它的核心思想是：在检索之前，先用大模型根据用户的提问生成一段假设答案（即便不完全正确也没关系），再将这段假设答案向量化用于检索，而不是直接用原始问题去查。语义更丰富：假设答案往往包含了问题的核心概念、关键词和相关背景信息。缩小表达差距：解决用户问题表述和知识库原文差异过大的问题。提升召回率：检索到的候选文档更相关，从而提高生成回答的质量。先让模型“假装知道”，再用这个假设去找真正的答案。

衡量的是生成文本中与参考文本之间。

BGE，全称，是一个开放的句向量模型系列，主要用于：向量搜索RAG 检索增强问答多轮语义匹配文档聚类与推荐系统它由北京智源人工智能研究院（BAAI）与其开源团队推出，目标是打造指令可控、高性能、支持多语言的句子/文档 embedding 模型。BGE 是目前最强的开源嵌入模型之一，具备高精度、多语言、指令控制的优势。无论你是在构建 RAG 系统、语义搜索引擎，还是构建问答机器人，它都是极具性价比的选择。

NSP 是 BERT 在预训练阶段的两个任务之一，其目标是判断两个句子是否在原始文本中是相邻的。具体来说，给定句子 A 和 B，BERT 会输出一个判断：“B 是不是 A 的下一句？我们可以反过来利用这个能力，判断两个句子之间是否具有语义连续性，从而找出应该切片的位置。使用 BERT NSP 实现文本切片是一种兼顾语义完整性和实现简便性的优秀方法，特别适合构建高质量的文档检索系统（如 RAG）。它避免了固定窗口切片的语义割裂问题，生成的 chunk 更自然、上下文更丰富。

fields = [schema = CollectionSchema(fields, description="文本向量检索示例")Milvus 作为领先的开源向量数据库，提供了强大且灵活的向量存储和检索能力。通过合理利用其多样化的索引结构和混合搜索能力，开发者可以高效搭建面向语义理解、图像识别等场景的智能检索系统。

文档切片不是一个“剪刀石头布”的游戏，而是 RAG 系统中影响最终效果的底层策略设计。选择合适的切片方法，可以显著提升你的：检索准确率上下文质量模型生成效果结合自己的数据结构与业务目标，合理选择或组合切片方式，才能打造一个真正强大、实用的 AI 检索问答系统。

在生成回答之前，先从外部知识库中检索相关信息，再将检索到的内容与用户问题一同输入大语言模型，生成基于知识的高质量回答。它结合了信息检索（IR）和生成模型的优势，既提升了回答的准确性，也增加了系统的可解释性。RAG通过将检索与生成结合，显著提升了大语言模型回答问题的准确性和实用性。掌握每个步骤的核心要点和最佳实践，能够帮助你快速搭建适合自己业务场景的智能问答系统。预处理提升检索精度精排提高相关性和忠实度灵活Prompt设计引导模型生成自动评估驱动持续优化。

Bi-Encoder 是一种将 Query 和 Document 分别编码为向量的架构，通常用于大规模语义检索任务。Cross-Encoder 将 Query 和 Document 拼接后，一起输入到一个 Transformer 模型中，进行整体编码与匹配打分。应用场景推荐使用方式大规模语义检索Bi-Encoder + 向量数据库小规模高质量排序高性能企业RAG系统。