RAG与LLM原理及实践（12）--- Milvus RRFRanker的使用场景及源码分析

已于 2024-08-13 18:13:58 修改
阅读量628 收藏
点赞数 22
分类专栏： RAG Milvus Chroma 源码及实践 文章标签： milvus python vector db 人工智能 算法
于 2024-08-13 18:07:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/talentyiyy/article/details/141164252
版权

目录

背景

rrfRanker 简介与实例

核心逻辑

实例

蕴含思想

rrfRanker VS  weightedRanker

rrfRanker

weightedRanker

场景使用区别

RRFRanker 使用场景

weightedRanker 使用场景

代码

代码实现

运行结果

修改代码

再次运行结果

源码

源码实现

解释

Ranker 可扩展实现

背景

本专栏虽focus在向量数据库及RAG，但是其编程理念和思想，如果你完全渗透，可以用到很多其他领域，比如实时推荐系统设计，分布式系统设计等。设计理念和编程思想我认为是搞编程首先需要领悟的，当然动手能力也很重要。二者结合，才能所向披靡，和大学讲的唯物主义辩证法差不多，以前觉得拿东西没啥用，想在细品，其思想精髓其实蛮深的。开始今天的主题吧。Milvus hybrid search 中，除了之前给出的weightedRanker进行多seq 排序，另外还有一种rrfRanker的综合排序手段。其实，你如果没有使用Milvus2.4.x 版本，如果你深入理解他的实现原理，照样可以在客户端封装函数实现这一过程。今天主要讲下 rrfRank的使用场景及方式，以及源码的实现方式。最后写下，实际上在 server端，你可以对 baseRanker 进行扩展，实现自己特殊的综合排序机制。当然milvus 在设计时，已经考虑了这点，在server 端留有充分的可扩展性，同时基于现在已有的weightedRanker 与 rrfRanker，实际上已经满足绝大部分落地需求。我将从实现的核心思想，使用，源码，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PhoenixAI8
关注
专栏目录
订阅专栏
pymilvus执行多向量搜索
shulu的专栏
04-25 1412
从 Milvus 2.4 开始，引入了多向量支持和混合搜索框架，单个collection可以支持10个向量字段。不同的向量字段可以表示不同的方面、不同的embedding模型甚至表征同一实体的不同数据模态。该功能在综合搜索场景中特别有用，例如根据图片、语音、指纹等各种属性来识别向量库中最相似的人。多向量搜索支持在多个向量字段上执行搜索请求，并使用重排名策略（例如RRF和加权评分）组合结果。客户端pymilvus需要2.4版本。
一篇文章带你学会向量数据库Milvus（二）
2401_85782938的博客
06-21 1485
如果我们要使用自定义索引，请在index_type参数中指定特定索引类型。ini复制代码 index_params = client.create_index_params() # 准备一个 IndexParams 对象field_name="scalar_2", # 标量字段名称index_type="INVERTED", # 明确索引类型index_name="inverted_index" # 索引的名称collection_name="demo_v4", # 将索引添加到集合中。
一篇文章带你学会向量数据库Milvus
qkh1234567的博客
08-13 1511
如果我们要使用自定义索引，请在index_type参数中指定特定索引类型。index_params = client.create_index_params() # 准备一个 IndexParams 对象​field_name="scalar_2", # 标量字段名称index_type="INVERTED", # 明确索引类型index_name="inverted_index" # 索引的名称​collection_name="demo_v4", # 将索引添加到集合中INVERTED。
RAG与LLM原理及实践（11）--- Milvus hybrid search 源码分析及思想
talentyiyy的专栏
08-12 259
这种漂移本质上和改动权重的效果是类似的，换句话说，因为相似度可能的不统一计算，会使得即使权重weights 分配准确，但最后得到的结果可能不符合预期。如果你能指明你要query 的是哪个partition当然是最好的，因为那样会使得search的scope 比较小，但是不知道也没关系，这个是optional的。output_fileds 就是查询后需要返回的哪几个字段，比如在上一篇文章实现的代码中，我们最终是需要返回 image 的path，供显示。通常这是在对返回query 效率有严格限制的条件下使用。
RAG与LLM原理及实践（13）--- hybrid async search 使用及源码分析
talentyiyy的专栏
08-14 443
milvus hybrid search 确实效果还不错，但是有的场景，比如我们在分布式系统中由于需要较高的query 准确率，我们将TSO 相关的参数包括 guarantee_time, graceful_time 等设置比较长，而且 data consistency 有可能不是 Strong，nprobs 有可能也比较大，又比如说 ef 设置比较大，HNSW或者说是 ANN search 算法本身可能也比较耗时，整体来说，search 整体可能较慢。弄懂了这几个地方的处理，理论上源码精髓你就理解了。
​RAG与LLM原理及实践（8）--- Chroma 应用场景及限制
talentyiyy的专栏
07-02 1224
通过前面几节的介绍，你应该对Chroma的运作原理有相当透彻的理解。Chroma的设计正如之前描述的：Chroma提供的工具：存储文档数据和它们的元数据：store embeddings and their metadata嵌入：embed documents and queries搜索： search embeddingsChroma在设计上优先考虑：足够简单并且提升开发者效率：simplicity and developer productivity。
RAG与LLM原理及实践（10）--- 完整自实现Local RAG
talentyiyy的专栏
08-06 438
通过这节加上前面的 local RAG 搭建，你完全可以自己实现一个local RAG 模型，而不借助任何外围组件，这样的实现对你加深RAG实现的全过程有直观重要的作用。还是那句话，真正的强者不能只是浮于表面，要知其然更要知其所以然。如果想要实现分布式的vector db 存储与query，那又回到了那个问题，你需要在query 正确率，效率，数据一致性之间做权衡。并且使用类似分布式数据，元数据管理工具，cache 策略等诸多手段进行维护。
RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶
talentyiyy的专栏
08-20 827
之后，kafka 会告诉你一个用于连接meta data 的 ip 与 port，其实就是告诉你，你想和我通信要数据，我已经把ip port 发给你了，你后面就用它和我联系吧。理论上是可行的，但是很不幸，因为可能没有做地址映射，虽然在同一网络中，我实践的结果还是不行。因为我没有使用 coker host 的模式创建网络，虽然理论上应该可以，但是实际测试我发现有问题，因为 host后，子网掩码与主机子网掩码 位数不统一，一个是 24，一个是16，导致最后肯定会失败。结合我上面讲的，你应该很清楚是为什么了。
​RAG与LLM原理及实践（9）--- 文本图片语义库建立docx
talentyiyy的专栏
07-30 436
另一个问题是，我们希望通过图片的搜索，能够反过来得到与之相关的或者直接能帮助我们求解的所有相关图片及对应的经验操作。当然如果你采用的是第一种思路，那没有问题，可以完成图搜图的过程，他的原理我在之前文章讲过了，就是训练 CLIP 模型得出的，将文本与图片信息放在同维度并通过训练使得配对文本与图片的similarity小，不配对的similarity大。实际上你一额可以将图搜图的过程变相的理解为：图经过反CLIP，得到他的文本信息，再通过文本信息搜索相关图片，也是可以的。本项目为保守起见，我用的是第一种思路。
​RAG与LLM原理及实践（7）--- Chroma query应用层策略及实现原理
talentyiyy的专栏
07-01 1064
Chroma query 底层查询的 query 思想是相同的，甚至在vector db 的世界中，都大同小异。如果你有看前面写的应该比较清楚query的运作原理，说直白就是在memory或是disk中通过暴力查询比较与HNSW算法（NSW算法的变种，分层可导航小世界）进行分析得到。其中向量比较的几种方式，如果你看了前面写的应该也比较清楚，就是cosine，l2，ip 几种比较方式。这是底层运作的基本思想。但是站在应用层的角度，query可以有所不同。
windows系统docker装milvus向量数据库
Mooczx的博客
09-12 696
注意如出现错误说明端口被占用,需要改docker-compose。首先创建一个文件夹比如milvus,在创建如下文件。# 运行docker。
大模型教程：使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
python1234_的博客
09-12 489
Milvus 是一款开源的分布式向量数据库，可用于存储、索引和搜索向量数据，适用于生成式 AI（GenAI）应用。Milvus 支持 hybrid search、元数据过滤、重排（Reranking），能够高效处理万亿规模的向量，助力开发者搭建 AI 和 ML 应用。您可以在本地运行 Milvus standalone 或 cluster 版本，或者使用全托管的 Milvus 服务——Zilliz Cloud。
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
ZILLIZ
09-11 600
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！????在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将...
实现从 Milvus 中获取数据，并基于嵌入向量重新排序的功能
keyboard专栏
09-10 716
为了实现从 Milvus 中获取数据，并基于嵌入向量重新排序的功能，你可以参考以下步骤对原代码进行完善和修改。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 243
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 312
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
爆改YOLOv8|使用MobileNetV4替换yolov8的Backbone
weixin_43986124的博客
09-12 988
MobileNetV4，yolov8改进backbone, yolov8改进， 即插即用
LLM-RAG是什么
07-02
LLM-RAG是“Large Language Model with Retrieval Augmentation”（大型语言模型与检索增强）的缩写。这是一种结合了大型预训练语言模型（如通义千问）和基于检索的方法的技术。在传统的语言模型中，模型完全依赖于其自身的知识库来生成响应。而LLM-RAG则增强了这种能力，它会在生成文本之前从外部知识源（比如文本数据库或网络上的信息）检索相关信息，然后结合模型自身的理解进行生成，从而提供更准确、丰富的答案。 这种方法利用了外部信息的丰富性和模型生成的灵活性，使得AI系统能够处理更复杂的查询，并在需要时提供详细的支持。然而，由于涉及外部数据的检索，隐私和版权问题是需要注意的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PhoenixAI8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值