yanqianglifei的专栏

RAG是一种人工智能技术，通过整合外部来源来增强大型语言模型。它允许模型对其产生的信息进行事实核查或校对。采用 RAG 驱动的人工智能模型被认为更可信和更新，因为引用外部来源增加了数据的可信度。这也可以防止模型产生过时的信息。RAG 系统的核心功能取决于外部数据集、其质量以及它们所受到的审查程度。如果 RAG 系统引用的外部数据集未经开发者消除偏差和刻板印象，则可能会嵌入偏差。

打个比方：你在考试，答题后写了解题思路。如果你真的是参考了书上的提示、或者你其实对这个知识点不太懂，那你在解释时也应该说出来。这才是“真实”的解释。对于AI来说，一条“真实”的思维链，应该是诚实地说明它是怎么一步步做出决定的，用了什么信息、参考了哪些内容。不是编的，不是事后找个借口来解释。

在RAG（Retrieval-Augmented Generation）中，chunk是个关键步骤。它的核心目标，就是把语义相近的内容放在一起，语义不同的内容拆开，这样后续的检索（retrieve）和重排序（rerank）才能更有效。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我去小明家吃饭。这段话其实表达了三个完全不同的意思，最理想的chunk方式，就是精准地把这三个部分分开，互不干扰。

DeepSeek-R1火了之后，Ai老板部署需求大大提升，抛开效果不谈，五件套易用性和灵活性相比VLLM大大提升，门槛较低，但是效果不言而喻。以下部署全部以docker方式进行，因为太方便了,但同时坑很多，请做好心理准备喜欢折腾的同学可以按照下面教程进行部署，我也是被逼无奈请杯子里面装满水，原地坐牢，不出意外的话就马上出意外了，一个BUG一支烟。

RAG（检索增强生成）它把检索系统和生成式 AI 结合起来，让 AI 回答得更准确、更贴合上下文。和普通的大语言模型（LLM）不同，RAG 不只是依赖训练时学到的知识，而是能实时从外部信息源查找内容，并用这些信息来生成更可靠的回答。RAG 的核心组成负责从外部数据源提取相关信息，确保 AI 的回答既准确又及时。检索做得好，AI 的输出质量就高；如果检索设计不合理，可能会导致无关答案、幻觉（AI 瞎编）或数据缺失。由大语言模型（LLM）来处理用户提问，并结合检索到的内容生成回答。

DeepSearch 可以理解为一种“高级的网页搜索代理”。传统的网页搜索代理通常只是用已有的搜索工具来收集信息，然后生成答案，它基本上只进行了一次搜索。而 DeepSearch 则在搜索过程中加入了“推理”这一环节。简而言之，DeepSearch 的工作原理是不断地进行“搜索 → 推理 → 搜索 → 推理…”的循环，直到找到最合适的答案，或者达到 Token 限制为止。下图展示了 DeepSearch 和传统网页搜索代理的处理流程对比。

在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。​那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？​MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。

2️⃣。

最近我们通过一些新闻博客包括LLMs产品的推出，DeepSearch和这两个词不断的映入我们眼帘。图片来源：Jina，DeepSearch 与 DeepResearch 的设计和实现一个有趣的发现是，DeepSearch 和 DeepResearch 不仅限于OpenAI，之前一直听说OpenAI的DeepResearch特别厉害，最近许多公司如 Jina AI、Perplexity 和 Google 也在开发类似工具。

【RAG实战】Prompting vs. RAG vs. Finetuning: 如何选择LLM应用选择最佳方案。【RAG落地利器】向量数据库Milvus教程：如何实现MetaData检索过滤。【RAG论文】文档树：如何提升长上下文、非连续文档、跨文档主题时的检索效果。【RAG入门教程02】Langchian的Embedding介绍与使用。从零开始优化 RAG 流程的终极指南，解决检索增强生成的核心挑战。你的RAG系统真的达标了吗？【RAG论文】检索信息中的噪音是如何影响大模型生成的？

📌LevelRAG 通过高级检索器的逻辑规划低级检索器的多检索融合稀疏检索器的查询优化优化了 RAG 在混合检索场景中的查询重写和检索逻辑，提高了检索完整性和准确性。📌实验结果表明：LevelRAG在复杂问答任务中表现出色，特别是在多跳推理任务中，显著优于现有方法。🚀 未来，LevelRAG 可以进一步优化检索策略，提高适应性，并提升计算效率！

今天，我们精挑细选 6 款最具代表性的 RAG 知识库文档处理工具，从技术架构、功能特性、适用场景、优劣势等多个维度对比，帮你找到最适合的解决方案！💡🔥。

本文讨论了优化 RAG 管道各个部分并增强整体 RAG 性能的各种技术。你可以在 RAG 管道中使用其中一种或多种技术，使其更加准确和高效。希望这些技术能够帮助你为你的应用程序构建一个更强大的 RAG 管道。参考资料：https://luv-bansal.medium.com/advance-rag-improve-rag-performance-208ffad5bb6a。

检索系统不仅用于RAG，还广泛应用于网络和企业搜索引擎、电商产品搜索、个性化推荐、社交媒体广告检索、档案系统、数据库、虚拟助手等领域。这些检索指标有助于评估和改进性能，从而更好地满足用户需求。你认为还有哪些指标可以补充到这个列表中呢？欢迎留言告诉大家！

LLM 为社区生成摘要，提供对主题结构和语义的见解。

总体而言，这篇论文针对RAG系统在面对检索缺陷时的脆弱性问题，提出了一种有效的鲁棒性提升方法RbFT，并在多个数据集上验证了其有效性，为实际应用中提高RAG系统的鲁棒性提供了有价值的解决方案。

在人工智能领域，检索、处理和生成信息的能力是系统效能的关键决定因素，支撑这些能力的框架正在经历变革性的发展。检索增强生成 (RAG) 已成为智能系统的基石，将大规模外部知识库与语言生成模型连接起来。

问答：在问答系统中，RAG可以从外部知识源获取与问题相关的信息，并生成更准确、更详细的答案。RAG 使人工智能能够始终使用最新的相关信息，使其成为信息快速变化的动态环境（例如新闻、金融和医学研究）中的宝贵工具。MS MARCO（微软机器阅读理解）： MS MARCO 是一个用于文档检索和句子排名的大型数据集，包含来自 Bing 搜索日志的实际查询以及相应的句子和答案。依赖于检索到的文档的质量和相关性： RAG 系统的有效性从根本上来说与检索组件从庞大的数据库或文档集合中获取相关且准确的信息的能力有关。

在**开放域问答（Open-Domain Question Answering, ODQA）**任务中，**文档分块（chunking）**过程中存在的不足。特别是在基于检索增强生成（Retrieval-Augmented Generation, RAG）模型的管道中，文档被分割成独立的块，然后通过检索过程来识别与给定查询相关的块，这些相关块与查询一起被传递给语言模型（LLM）以生成期望的响应。然而，现有研究往往更多关注于检索和生成组件的改进，而忽视了文档分块和分割的重要性。

向量数据库的核心功能是存储和查询高维向量数据，支持基于向量相似度的快速检索。它们广泛应用于推荐系统、图像检索、自然语言处理等领域，尤其在生成式人工智能（如 ChatGPT）中，向量数据库能够有效减少模型幻觉问题，提供更准确的信息检索。Weaviate：适合需要复杂查询和语义理解的场景，尤其是在知识图谱和推荐系统中表现优异。Milvus：适合大规模数据处理和高性能要求的应用，尤其是在图像和视频分析领域。Qdrant：适合中小规模项目，资源占用低，灵活性高，适合需要快速迭代的项目。Chroma。

Weaviate 是一种开源的向量搜索引擎数据库，允许以类属性的方式存储 JSON 文档，并将机器学习向量附加到这些文档上，以在向量空间中表示它们。Weaviate 支持语义搜索、问答提取、分类等功能，并且可以通过 GraphQL-API 轻松访问数据。

高效管理文本嵌入与相似度搜索的向量数据库随着大型语言模型（LLM）的广泛应用，向量数据库逐渐成为处理文本嵌入和相似度搜索的关键工具。Chroma是一个开源的向量数据库，专门设计用于存储和检索文本嵌入，帮助开发者更高效地构建基于大模型的应用。本文将带你了解Chroma的核心功能、设计理念以及如何使用它进行文本嵌入管理和相似度搜索。向量数据库是一种专门用于存储和检索高维向量数据的数据库。与传统的关系型数据库不同，向量数据库针对非结构化数据（如文本、图像等）的嵌入表示进行了优化。

代理式检索增强生成（Agentic RAG）通过在RAG管道中嵌入自主代理，代表了人工智能领域的重大飞跃。基础原理，包括代理模式，如反思、规划、工具使用和多代理协作。Agentic RAG系统的详细分类，展示了单代理、多代理、分层、纠正、自适应和图基RAG等框架。传统RAG、Agentic RAG和代理式文档工作流（ADW）的比较分析，突出它们的优势、劣势和最佳适用场景。跨行业的实际应用，如医疗、教育、金融和法律分析。挑战和未来方向，涉及扩展性、伦理AI、多模态集成和人机协作。

此命令允许您使用主机网络运行docker容器，并为服务器指定要侦听的自定义端口。

那么，如何定义相关性？这是一个复杂的问题。中提到了一些有趣的实验，研究者通过构建不同类型的信息（如无关信息部分相关的无关信息和相关但误导性的无关信息）来测试大模型对相关性的敏感性。例如，无关信息可能与问题主题无关，但由于高相似性得分而被检索到。而部分相关的无关信息则包含与问题主题部分重叠的信息，但不提供问题的答案。这些实验表明，大模型对相关性的理解与传统的检索系统并不完全一致。我们需要更精细的方法来衡量和优化相关性。大模型更容易被语义高度相关但不相关的信息误导。

在RAG（Retrieval-AugmentedGeneration）任务中，Chunk切分是一个关键步骤，尤其是在处理结构复杂的PDF文档时。PDF文档可能包含图片、奇怪的排版等，增加了Chunk切分的难度。

官方链接：https://weaviate.io/ebooks/advanced-rag-techniques。

这篇论文主要关注的是检索增强型生成（RAG）系统不同的组件和配置如何影响系统的性能。简单来说，RAG系统通过结合语言模型和外部知识库来生成更准确的回答，但之前的研究并没有深入探讨哪些因素（比如模型大小、提示设计、知识库大小等）对系统性能的影响最大。这篇论文的目标就是通过系统的实验和分析，找出这些关键因素，并提出一些新的配置方法，帮助提升RAG系统在各种复杂任务中的表现。

2024年真是生成式人工智能研究大放异彩的一年！最让我们惊讶的是，整个领域的焦点发生了翻天覆地的变化。尤其是在 2023 年和 2024 年，情况开始变得截然不同，由于大模型模型已经能够做很多事情，因此也更加关注应用层面的研究。论文合集的分类框架如上图所示，把AI研究想象成一个从输入到输出的系统，就像实际部署的场景一样。这是大模型应用的起点，聚焦于输入处理和提示工程的研究。通过巧妙调整输入数据的方式，我们可以让大型语言模型（LLM）输出更优质的结果。这一层关注的是模型的“燃料”和“引擎”。

检索增强生成（RAG）系统去年挺火的，主要是因为它能高效地检索信息并生成内容。不过，要想让它的表现更上一层楼，查询优化技术就显得尤为重要了，尤其是在使用大型语言模型（LLM）的时候。我们可以通过扩展、分解、消歧和抽象这些方法来优化查询，这样一来，RAG系统里的LLM就能更高效、更准确地工作了。这些技术通过优化用户的初始查询，让生成的内容更加准确和可靠，解决了像语义模糊、复杂需求以及查询和目标文档之间相关性差异这些问题。所以，RAG系统在处理那些需要大量知识的任务时，表现得特别出色。

无论你是刚起步，还是已经深入RAG项目，指标都是你成功的关键。反馈五花八门，有的说好用到飞起，有的说烂到不行。在企业或者单位内部，我们搞了个RAG应用，塞进去一堆文档，想着能给团队提供又快又准的信息。没有系统的评估，我们就像在摸黑走路，全靠运气。虽然前面提到的7个指标是认为必不可少的，但RAG系统的评估远不止这些。今天这篇文章，我们通过几个指标来讲一讲:如何从一个反馈乱七八糟的RAG系统，到现在逐渐走向稳定的生产环境?评估RAG系统，就得从这两个部分入手，同时还要关注系统整体的表现。

新的开放式多语言嵌入模型发布！KaLM-Embedding 是一系列基于。2 0.5B 构建并由 MIT 发布的嵌入模型。

原始 RAG 框架在提升检索和生成答案质量方面，还有一些关键问题没解决：找出来的文档真的跟用户问题相关吗？有时候可能找偏了。找到的内容够不够回答用户的问题？会不会信息量不足？会不会有一堆没用的信息混进来，反而把答案搞乱了？检索速度够快吗？会不会让用户等太久？万一检索到的信息没法生成好答案，我们该怎么办？从上面这些问题，我们可以得出两个关键结论：首先，得给我们的 RAG 系统装上一个“质检员”——也就是一个强大的评估模块。

长话短说，检索增强生成（RAG）是一种巧妙的方法，它把检索机制和大型语言模型（LLM）结合在了一起。简单来说，就是让AI在生成回答之前，先“翻翻资料”——通过检索相关文档来增强自己的能力。这样一来，AI给出的回答不仅更准确，还能带上更多上下文信息，显得更有深度和针对性。总结一下，分块这招对优化RAG系统来说，绝对是个关键策略。它能让系统的回答更准、更贴合上下文，还能轻松应对大规模需求。说白了，把大段文本切成小块，不仅找东西更快更准，还能让AI应用的整体效率蹭蹭往上涨。

图片来源：https://x.com/kalyan_kpl/status/1876470237140561986。RAG（检索增强生成）通过提供来自外部知识源的相关背景来帮助提高 LLM 答案的准确性和可靠性。Agentic RAG 是高级 RAG 版本，它使用 AI 代理来更加自主地行动。Agentic RAG 执行以下操作。

最近遇到几个伙伴关于markdown解析的问题，都是比较偏向于实际使用场景的，这里我们一开始我们去做markdown文件解析会自觉的会困在一个陷阱，就是：我们想把Markdown文件解析效果想的太过理想，会不自觉的与实际生产稳当绑定一起，可能想把Markdown解析数据转成树结构更合理些，但同时考虑内容各式各样，那么这个时候很难下手，不知道怎么去写，常常思考过了半个小时后一行代码也没有写出来。下面不妨我们尝试把Markdown解析做的，其他文件类型解析也是这样的套路。

基于摘要的检索与 LC 性能相当，而基于块的检索则落后。在问答基准测试中，LC 的表现通常优于 RAG。RAG 在基于对话和一般性问题查询方面具有优势。本文对结果进行了深入分析，请查看。大模型的长上下文与 RAG。

最近在写文章，想补上去年RAG（Retrieval-Augmented Generation）遗留的一些坑，希望能分享一些RAG的技巧帮到大家。还是那句老话：构建一个大模型的原型很容易，但把它变成一个能真正投入生产的产品却很难。这篇文章适合那些在过去一个月里刚刚构建了第一个LLM（大语言模型）应用程序，并开始考虑如何将其产品化的朋友们。我们将介绍17种技术，帮助你们避免在RAG开发过程中重复踩坑——毕竟，在同一个坑里跌倒两次，岂不是太浪费时间了？

您听说过吗？它是一款专为应用程序设计的开源日志记录工具！据说它可以作为的轻量级替代方案，满足 RAG 特定的日志记录需求。查询、搜索结果、LLM 交互和性能指标可以以格式记录。

本仓库包含了对检索增强生成 (RAG) 在各种应用中的全面探索。每个笔记本都提供了从入门级到高级实现的详细实践指南，包括多查询和自定义 RAG 构建。