LLM Agent之再谈RAG的召回信息密度和质量

已于 2024-08-23 17:06:28 修改
阅读量1.8k 收藏 28
点赞数 34
文章标签： 网络 数据库 服务器 人工智能 大模型 机器学习
于 2024-02-21 09:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81887304/article/details/136182555
版权

接上文的召回多样性优化，多路索引的召回方案可以提供更多的潜在候选内容。但候选越多，如何对这些内容进行筛选和排序就变得更加重要。这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节，考虑排序中粗排和精排的区分主要是针对低延时的工程优化，这里不再进一步区分，统一算作排序模块。让我们先对比下重排和排序模块在经典框架和RAG中的异同

  • 排序模块
    • 经典框架：pointwise建模，局部单一item价值最大化，这里的价值可以是搜索推荐中的内容点击率，或者广告中的ecpm，价值由后面使用的用户来决定
    • RAG：基本和经典框架相同，不过价值是大模型使用上文多大程度可以回答问题,价值的定义先由背后的大模型给出，再进一步才能触达用户。更具体的定义是，排序模块承担着最大化信息密度的功能，也就是在更少的TopK内筛选出尽可能多的高质量内容，并过滤噪声信息。
  • 重排模块
    • 经典框架：Listwise建模，通过对item进行排列组合，使得全局价值最大化，进而使得用户多次行为带来的整体体验感更好。这里的整体可以是一个搜索列表页，一屏推荐信息流，也可以是更长的一整个session内用户体验的整体指标，以及背后的商业价值。常见的做法是打散，提高连续内容的多样性，以及前后内容的逻辑连贯性，不过打散只是手段，全局价值才是终极目标
    • RAG：概念相似，通过重排优化模型对整体上文的使用效率。优化模型对上文的使用，提升信息连贯性和多样性，最小化信息不一致性和冲突。不过当前大模型对话式的交互方式更难拿到用户体验的反馈信号，想要优化用户体验难度更高。

下面我们分别说两这两个模块有哪些实现方案

1. 排序模块

上一章提到使用query改写，多路索引，包括bm25离散索引，多种embedding连续索引进行多路内容召回。这种方案会提供更丰富的内容候选，但也显著增加了上文长度。而很多论文都评估过，过长的上文，以及过长上文中更大比例的噪声信息，都会影响模型推理的效果，如下图

img

因此如何从这些召回内容中排序筛选出更出质量更高的内容，过滤噪声信息就是排序模块需要做的。考虑不同索引之间对于相似度的计算打分相互不可比，更不可加，因此需要统一的打分维度来对候选内容进行排序，这里提供两个无监督的混合排序打分方案

1.1 RRF混排

  • https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking
  • https://python.langchain.com/docs/modules/data_connection/retrievers/ensemble

多路召回混合排序较常见的就是Reciprocal Rank Fusion(RRF），把所有打分维度都转化成排名，每个文档的最终得分是多路打分的排名之和的倒数。通过排名来解决不同打分之间scale的差异性。公式如下，其中r(d)是单一打分维度中的文档排名，K是常数起到平滑的作用，微软实验后给的取值是60。

img

以下是微软搜索中使用RRF类合并文本检索和向量检索的一个示意图，使用RRF分别对文本检索和向量检索的多路召回内容进行混合排序

img

1.2 信息熵打分

除了使用排名来对各路召回的内容质量进行归一化，当然也可以使用统一的模型打分来对内容质量进行衡量，比如可以使用Bert Cross-Encoder BGE-Reranker来对所有候选文档来进行打分排序，利用cross模型比embedding模型更精准的特点来进一步对召回内容进行过滤。

这里我想聊聊除了相关性之外的另一个内容质量评估维度 - Information-Entropy。Information-Entropy是从文本信息熵的角度对内容有效性和质量进行打分筛选，有以下几种不同的信息熵度量方式

1.2.1 Selective-Context

Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering

img

Selective-Context使用自信息对内容质量进行评估。上一次碰到自信息，还是在做新词挖掘的算法。放在内容质量筛选也是同样的道理，熵值越低（不确定性越低）,自信息越低的token带给语言模型的信息量就越低，例如停用词，同义词等等。因此自信息更低的内容本身的价值更低。不过自信息的计算是token粒度的，想要对短语，句子，段落进行计算可以近似采用token求和的方式，也就是假设token之间是相互独立。但是越大粒度的信息合并，简单求和的自信息误差越大，因为token并非真正独立。因此单纯使用内容自信息的计算方式更适合短语粒度的上文内容压缩，似乎不完全适合对RAG召回的段落内容进行打分，不过不要着急接着往后看哟~

以下是Selective-Context通过自信息对Context进行压缩的效果，至于压缩幅度和压缩后对模型推理的影响我们放到最后一起对比

img

1.2.2 LLMLingua

LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

LLMLingua同样是使用token熵值来对内容质量进行打分，不过进一步放松了token独立性的假设。 计算公式如下，先把整个上文context分段，论文使用100个token为一段。以下Sj,i��,�为第j个段落中第i个字，Sj��是第j个段落前所有段落经过压缩后的内容。也就是在计算当前段落每个字的熵值时，会把之前已经压缩过的内容拼接在前面，使得对更大粒度的段落熵值估计更加准确。

img

1.2.3 LongLLMLingua

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

LongLLMLingua进一步把完全基于内容的信息熵，优化成了基于内容回答问题的条件熵，更完美的适配RAG框架中排序模块对召回内容整体打分的要求。

以上LLMLinugua和Selective-Context单纯对上文内容的熵值进行计算，但很有可能熵值高的内容虽然包含大量信息但都和问题无关，只是单纯的信息噪声。因此LongLLMLingua在熵值计算中引入了问题，那无非就是两种计算方案，要么给定问题计算内容的熵值，要么给定内容计算问题的熵值。论文考虑内容中可能是有效信息和噪声信息的混合，因此选用了后者。也就是给定每段召回内容，计算问题的熵值。

这里论文还在问题前加了一段指令，“Xrestrict=���������=we can get the answer to this question in the given documents”，通过增加内容到问题的关联程度，来优化条件熵的计算。

img

论文对比了不同打分排序方案，包括BM25，各种向量embedding，以及LLMLingua，其中LongLLMLinuga在TopK文档的召回率上显著更优，如下图。具体的压缩率和推理效果对比，我们放到后面的重排模块一起来说。

img

LongLLMLingua在以上的段落打分之外，还加入了对段落内部token级别的内容压缩。也就是先筛选TopN段落，再在段落内筛选有效Token。不过看论文效果感觉段落排序的重要性>>内容压缩，这部分就不再赘述，感兴趣的朋友去看论文吧~

重排模块

针对排序模块筛选出的TopK上文候选，重排模块需要通过对内容进一步排列组合，最大化模型整体推理效果。和排序模块最大的差异在于它的整体性，不再针对每个Doc进行独立打分，而是优化整个Context上文的效果。主要有以下两个优化方向：一个是文档位置的优化，一个是文档之间关联性的优化

文档位置

  • LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
  • Lost in the Middle: How Language Models Use Long Contexts
  • https://api.python.langchain.com/en/latest/document_transformers/langchain.document_transformers.long_context_reorder.LongContextReorder.html#

img

针对文档位置的最优化就是Lost in the Middle(上图)，相信大家可能都比较熟悉。简单说就是大模型在使用上文推理时，倾向于使用最前面和最后面的内容，而对中间的内容爱搭不理。因此可以基于内容的质量，把重要的内容放在Context的前面和后面。

LongLLMLingua也做了类似的尝试，并且认为前面的位置比后面更加重要，因此直接使用上面排序模块对段落的打分，对排序后保留的候选内容，进行重新排列，按照分数由高到低依次从前往后排列。

img

最后来一起看下效果，在LongLLMLingua中，论文对比了各种相似度排序方案保留TopN文档，并使用该排序方案进一步重排内容的效果。在2倍和4倍的压缩率下LongLLMLingua的效果都是显著最好的，不过可以发现只使用LongLLMLingua进行排序（Retrieval-base Methods）并做重排（Reorder列）的效果其实就已经不差了，而段落内部的token压缩更多是锦上添花。

img

文档关联性

  • https://python.langchain.com/docs/integrations/retrievers/merger_retriever
  • MetaInsight: Automatic Discovery of Structured Knowledge for
    Exploratory Data Analysis

以上排序和重排的逻辑，都是考虑问题和召回内容之间的关联性，但都没有引入Context内部不同召回内容之间的关联性。

langchain的LOTR (Merger Retriever)实现了部分类似的功能，包括使用embedding对多路召回的内容进行消重，以及对内容进行聚类，每个聚类中筛选最靠近中心的一条内容。这一步可以放在排序中去做，也可以放在排序后的重排模块。

之前解密Prompt系列19. LLM Agent之数据分析领域的应用章节提到的微软的MetaInsight也引入了类似的打散逻辑。其中

  • 内容的整体价值=每条内容的价值之和-内容之间重合的价值
  • 两两内容重合价值=两条内容打分的最小值*内容重合率

那放到RAG框架可能就可以使用以上的信息熵来作为打分，相似度来作为重合率

img

img

这块我们也在尝试中，所以没有结论性的内容，这里只抛出几个问题，有试验过效果的有缘人可以在评论区回复

  • 信息连贯性：把内容相似的多个召回连续排列，会比散落在Context各处效果更好么
  • 信息多样性：对召回内容进行聚类，把内容相似观的多个召回进行消重，或者只使用每个cluster内距离类中心最新的一条或TopN条内容，会提升推理效果么
  • 信息一致性：观点或内容冲突的多个召回内容，对推理的影响有多大

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

人工智能MOS
关注
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
丨汀、的博客
08-09 406
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 846
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
检索增强生成RAG系列7--RAG提升之高级阶段
代码还是得自己扣
07-05 1342
系列5中讲到会讲解3个方面RAG的提升，它们可能与RAG的准确率有关系，但是更多的它们是有其它用途。本期来讲解第三部分：高级阶段。之所以说是高级阶段，可能是不好归一，而且实现起来相对于前面来说可能更为复杂。 在系列4中讲到问题优化的方法RAG-Fusion，里面提到了它与Multi-Query最后不同就是使用RRF对结果进行重排。其实重排是一种提高RAG问题准确率很好的方法，但是之所以没有放入RAG优化，而放入RAG提升，主要考虑2方面，其一是它其实算是一套流程中一个中间操作，在问题优化方法中也有提到过，不
RAG 检索大升级：BM25 与 RRF 助力 LLMs 精准破局
m0_59164520的博客
08-20 1141
BM25（最佳匹配25）和RRF（倒数秩融合）是两种在检索增强生成（RAG）系统中用于改进大型语言模型（LLMs）检索步骤的技术。以下将详细介绍它们的工作原理及其在RAG流程中的作用。BM25是一种概率信息检索模型，它基于与查询的相关性对文档进行排名。作为传统TF-IDF模型的扩展，BM25在许多检索任务中表现出色，因此被广泛应用。：指一个术语在文档中出现的次数。BM25通过考虑文档长度来调整这一指标，避免较长的文档由于术语频繁出现而被错误地赋予更高权重。：衡量一个术语在所有文档中出现的稀有程度。
小白学RAG：RAG 进阶模块划分
2401_84208172的博客
10-04 1031
RAG技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
小学生都能懂的 RRF（Reciprocal Rank Fusion）说明
engchina的专栏
06-12 1314
小学生都能懂的 RRF（Reciprocal Rank Fusion）说明
稠密向量+稀疏向量+全文搜索+张量重排=最佳检索RAG?
qq_20182781的博客
07-27 947
因此，它为高检索混。越来越多的人认为，仅仅依靠向量搜索，通常是密集向量，可能并不总是产生令人满意的结果。与密集向量不同，稀疏向量不是语义的简化表示，而是作为全文搜索的替代方案，旨在全文搜索中对关键字进行修剪和扩展，并为倒排索引词汇表定义关键字权重。每个查询token嵌入与所有文档token嵌入之间的余弦相似度，跟踪每个查询token嵌入的最大分数，并计算出这些分数的总和，从而得到查询文档的总分数。例如，排名第一的文档得分为 1，排名第二的文档得分为 0.5，排名第三的文档得分为 0.33，以此类推。
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
丨汀、的博客
07-30 4183
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
（13-5）RAG基础知识介绍：RAG融合、编码器、 LLM 微调和RAG评估
码农三叔
02-04 1757
这种双编码器的技术调整了LLM和检索器，通过调整查询、上下文和答案的三元组，达到更好的性能。更先进的方法不仅考虑了命中率，还包括了一些常见的搜索引擎评估指标，如平均倒数排名（Mean Reciprocal Rank），以及生成答案的质量指标，如真实性和相关性，这在OpenAI的实用指南中得到详细展示。RAG系统的性能评估工作是确保其有效运作的关键，在当前市面中，各种主流框架都提供了多个独立的指标，用于综合评估系统的不同方面，这些指标包括总体答案相关性、答案基础性、忠实度以及检索到的上下文相关性。
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
丨汀、的博客
08-27 279
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
检索结果重新排序？RRF（Reciprocal Rank Fusion）介绍
u011160113的博客
08-20 648
在之前探索的RAG系统中，为了提升检索质量，我们通常会引入不同的检索方法进行不同的相关性检索，并最终整合所有的检索结果进行最终的排序。在这个过程中涉及到一个概念：RRF。那它是什么意思呢？它是怎样进行计算的呢？本文将帮助你理解这个概念。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 8062
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
Milvus - 混合搜索和重排策略详解
fenglingguitar的专栏
11-01 695
重排（Reranking）是混合搜索中的一个关键步骤，它用于整合多个向量场的结果，以确保最终输出具有相关性和优先级。- 基于权重分配，通过计算加权平均值来合并不同向量场的搜索结果。RRFRanker- 基于互易等级融合 (Reciprocal Rank Fusion, RRF)，通过倒数计算排名融合，以平衡每个向量字段的影响。以下内容将详细介绍这两种策略的原理、使用场景及代码示例。Milvus 提供的重排策略在多模态数据搜索中发挥了重要作用。
RAG混合检索：掌握倒数秩融合RRF多维度提升检索结果评分的秘诀
qingkahui24689的博客
08-21 804
倒数排名融合 (RRF) 是一种算法，可评估多个以前的排名结果中的搜索分数以生成统一的结果集。在RAG搜索中，每当并行执行两个或更多个查询时，都会使用 RRF。每个查询都会生成一个排名结果集，RRF 可用于将排名合并和同质化为单个结果集，在查询响应中返回。始终使用 RRF 的示例方案包括混合搜索和并行执行的多个矢量查询。RRF 基于倒数排名的概念，即搜索结果列表中第一个相关文档的排名的倒数。该方法的目标是考虑项目在原始排名中的位置，并赋予在多个列表中排名较高的项目更高的重要性。
langchain中的召回增强生成（RAG）一览
2301_81940605的博客
06-24 1256
RAG是一种通过额外的、通常是私有或实时的数据来增强LLM知识的技术。LLM能够推理各种广泛的主题，但它们的知识仅限于它们训练时的公共数据，到达其特定时间节点为止。如果你想构建可以推理私人数据或在模型截止日期之后引入的数据的人工智能应用程序，你需要用特定信息增强模型的知识。将适当的信息带入并插入到模型提示中的过程被称为“检索增强生成”（RAG）。
大模型高级 RAG 检索策略之混合检索
机器学习社区
06-06 3783
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
第六章传输层协议、ACL
最新发布
2401_86349554的博客
11-05 746
第六章传输层协议、ACL
tcp shutdown, fin_wait1, fin_wait2, close_wait, last_ack, 谢特！
Netfilter
10-31 2421
状态很奇怪，人们很难接受一个连接在非 ESTABLISHED 状态下正常传输数据，这会引来一堆咨询，但根据 TCP 状态机，这又是合理的，client 单向关闭了发送，FIN 就过去了，server 回复了 FIN，进入 CLOSE_WAIT，client 收到回复进入 FIN_WAIT_2，而 server 在 CLOSE_WAIT 下发数据，client 在 FIN_WAIT_2 下是完全合理的。但如果应用程序希望如此呢？TCP 的 RFC793 并未规定状态超时时间，为完整闭环这是合理的。
LLM agent与agent 的区别
06-02
LLM代理是基于监督学习算法进行训练的，可以根据事先设定的规则进行行为决策，因此在面对已知的环境和任务时表现...两者的区别在于LLM代理更偏向于事先设定好的规则和任务，而一般的agent更注重自主学习和适应能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值