代码示例深度解析：Milvus Cloud稀疏向量在密集检索失效场景下的卓越表现

于 2024-07-21 09:00:00 发布
阅读量2 收藏
点赞数
分类专栏： 《向量数据库指南》 文章标签： 算法 数据库 人工智能 embedding Milvus Cloud milvus
LCHub
本文链接：https://blog.csdn.net/qinglingye/article/details/140468127
版权

目录

一、数据集与查询背景介绍

二、密集检索与稀疏检索的对比实验

三、稀疏向量与密集向量的原理分析

四、Milvus Cloud向量搜索技术的应用

五、结论与展望

在信息检索领域，尤其是在处理大规模、多领域的数据集时，选择合适的向量表示方法对于提升检索效率和准确性至关重要。本文将以MIRACL数据集为例，深入探讨在密集检索方法效果不佳的情况下，稀疏向量如何展现出其独特的优势。通过具体案例“What years did Zhu Xi live?”的查询过程，我们将详细分析稀疏向量与密集向量在检索性能上的差异，并介绍如何利用Milvus Cloud这样的向量数据库实现高效的向量搜索。

一、数据集与查询背景介绍

数据集：MIRACL

MIRACL（Multilingual Information Retrieval Across Collections and Languages）是一个多语言的信息检索数据集，旨在促进跨语言和跨集合的信息检索研究。该数据集包含了丰富的文本资源，涵盖了多个领域和时间段的内容。在本案例中，我们专注于其英文部分的“训练”切分，该部分包含26746篇文章，这些文章涉及广泛的主题，其中七篇与宋代著名学者朱熹（Zhu Xi）紧密相关。

查询：What years did Zhu Xi live?

此查询旨在寻找与朱熹生平年份相关的信息。朱熹作为宋朝时期的重要人物，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ModaHub魔搭社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
RAG 检索的底座：Milvus Cloud向量数据库
LCHub低代码社区
05-08 197
方面，由于信息可以表示成高维向量，针对向量加上特殊的索引优化和量化方法，可以极大提升检索效率并压缩存储成本，随着数据量的增长，向量数据库能够水平扩展，保持查询的响应时间，这对于需要处理海量数据的 RAG 系统至关重要，因此向量数据库更擅长处理超大规模的非结构化数据。这个维度，传统的搜索引擎、关系型或文档数据库大都只能处理文本，泛化和扩展的能力差，向量数据库不仅限于文本数据，还可以处理图像、音频和其他非结构化数据类型的嵌入向量，这使得 RAG 系统可以更加灵活和多功能。
向量数据库Milvus Cloud领域外信息检索挑战：深度剖析与应对策略
LCHub低代码社区
07-20 23
然而，当这些技术跨越至非熟悉领域（Out-of-Domain, OOD）进行信息检索时，一系列挑战也随之浮现，这些挑战不仅考验着技术的适应性，也促使研究者们探索更加灵活、高效的解决方案。这种模型可以在保留BERT强大语义理解能力的同时，利用词袋算法的词汇匹配优势，提高在OOD环境下的检索效果。当然，这种稳定性是以牺牲一定的语义精度为代价的，但在某些对性能稳定性有较高要求的场景下（如法律文献检索、医疗记录查询等），词袋算法仍具有一定的应用价值。此外，特定领域的数据往往具有稀缺性，尤其是在一些小众或新兴领域。
如何使用Milvus Cloud进行稀疏向量搜索
LCHub低代码社区
07-18 1733
Milvus Cloud 是一款高度可扩展、性能出色的开源向量数据库。在最新的 2.4 版本中，Milvus Cloud 支持了稀疏和稠密向量（公测中）。本文将利用 Milvus Cloud 2.4 来存储数据集并执行向量搜索。接下来，我们将演示如何利用 Milvus Cloud 在 MIRACL 数据集上执行查询“朱熹生活在哪个年代？我们使用 SPLADE 和 MiniLM-L6-v2 模型，将查询内容及 MIRACL 源数据集转化为稀疏和稠密向量。
milvus: 专为向量查询与检索设计的向量数据库
penriver的博客
07-26 2460
Milvus的目标是：store, index, and manage massive embedding vectors generated by deep neural networks and other machine learning (ML) models. Milvus 向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。 与现有的关系数据库主要按照预定义的模式处理结构化数据不同，Milvus采用自底向上设计，以处理从非结构化数据转换而来的Embedding向量。
Milvus开源向量数据库，提供向量相似度搜索
11-01
Milvus 是一款全球领先的开源向量数据库，赋能 AI 应用和向量相似度搜索，加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。 Milvus 2.0 是一款云原生向量数据库，采用存储与计算分离的架构...
基于C++和多语言的向量数据库Milvus设计源码
04-08
Milvus向量数据库 - 基于C++和多语言开发，包含2954个文件，如Go、YAML、H、Python、C++、Shell、Rust等。该数据库是面向AI应用和向量相似度搜索的全球领先开源项目，能够加速非结构化数据的检索效率，是AI时代的...
docs：Milvus文档
02-23
Milvus文档 该存储库包含技术文档， 是设计的开源矢量相似度搜索引擎。 可以在上找到最新的技术文档。 请注意，并非该存储库中存在网站上的所有文档。 一些项目具有自己的独立存储库和特定于项目的文档。 欢迎大家...
milvus-sdk-node:Milvus 节点 SDK
07-24
Milvus：v2.x 节点：v12+ 安装 npm install @ zilliz / milvus2 - sdk - node 先决条件 在我们开始之前，有一些先决条件。 确保： 您有一个正在运行的 Milvus 实例。 @zilliz/milvus2-sdk-node 已正确安装。 ...
Springboot基于Milvus向量搜索引擎的大规模人脸搜索服务+源代码+文档说明
11-28
​ Milvus 向量数据库能够帮助用户轻松应对海量非结构化数据（图片 / 视频 / 语音 / 文本）检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索 ​ 因此虹软的SDK只能提取向量及对比的功能，在大规模人脸识别中...
排序算法(4)之快速排序(1)
wer24_25的博客
07-17 1098
排序算法(4)之快速排序(1),快速排序的概念和快速排序的三种实现方式.
(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度
qq_44962949的博客
07-17 205
【代码】(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度。
Leetcode—207. 课程表【中等】
Atticus的博客
07-19 245
运行结果 之后我会持续更新，如果喜欢我的文章，请记得一键三连哦，点赞关注收藏，你的每一个赞每一份关注每一次收藏都将是我前进路上的无限动力 ！！！↖(▔▽▔)↗感谢支持！
插入和选择排序
c23856的博客
07-20 291
我们来计算一下它的时间复杂度：我们知道时间复杂度是计算最坏的情况，在这里的最坏情况为逆序，因为逆序的时候每次插入都需要执行前面数的数量，那么我们假设其有N个数，那么总执行量就为：1+2+3...+N-1 即为(N^2)/2。时间复杂度：O(N*logN),我们设该树高为h，那么树的所有节点为N=2^h-1个，我们的时间复杂度要换成与数量有关的式子，所以时间复杂度为O(N*logN).希尔排序是在插入排序的基础上，效率更高的排序，其实就是在插入排序的基础上加上了与预排序的操作。
排序思想-快排
m0_58257626的博客
07-17 314
快速排序核心思想就是每次在当前区间 [left, right] 中选择出一个元素 nums[p]，然后将区间内所有大于它的元素和所有小于它的元素都放到其两侧【具体放在哪一侧取决于是升序还是降序】，然后再递归去处理两侧区间。将大于切分值的元素都放到左侧，小于切分值得元素都放到右侧。因此我们可以使用双指针分别从两端往中间搜索，分别找到左侧小于切分值的元素和右侧大于切分值的元素，交换之，直到两个指针相遇。
完全二叉树的节点个数-递归
qq_45031559的博客
07-19 246
完全二叉树的节点个数-递归
算法刷题笔记 排列数字（C++实现）
hanmo22357的博客
07-17 278
一道简单的深度优先搜索（DFS）模板题，给出了DFS问题的一般思路以及C++代码实现
python实现图像缩放算法
最新发布
qq_42568323的博客
07-20 285
它通过选择离目标像素最近的原始像素的颜色值来确定目标像素的颜色值。它通过考虑目标像素周围16个像素的颜色值，使用双三次插值公式计算出目标像素的颜色值。相较于双线性插值，双三次插值能生成更平滑、更细腻的图像效果。它通过考虑目标像素周围四个像素的颜色值，使用双线性插值公式计算出目标像素的颜色值。尽管最近邻插值在某些应用场景中足够使用，但在需要更高质量图像的场景中，通常会选择更加复杂的插值方法，如双线性插值或双三次插值。双三次插值是图像缩放中高质量的方法之一，适合需要高质量图像处理的应用场景。
(算法)区间调度问题
2202_75519246的博客
07-17 223
此外,参与工作的时间段不能重复(即使是开始的瞬间和结束的瞬间的重叠也是不允许的). 你的目标是参与尽王多的工作,那么最多能参与多少项工作呢?有n项工作,每项工作分别在s时间开始,在t时间结束. 对于每项工作,你都可以选择参与与否,如果选择了参与,那么自始至终都必须全程参与.
利用 panns-inference 预训练模型将音频数据转换为特征向量并导入到 Milvus 中，Milvus 将返回向量对应的 ID的代码
06-13
以下是利用 panns-inference 预训练模型将音频数据转换为特征向量并导入到 Milvus 中，Milvus 将返回向量对应的 ID的 Python 代码示例： ```python import torch import torchaudio from transformers import Wav2Vec2Processor, Wav2Vec2Model from panns_inference import AudioTagging from milvus import Milvus, IndexType, MetricType # 加载预训练模型 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h") model = Wav2Vec2Model.from_pretrained("facebook/wav2vec2-base-960h") # 加载 panns-inference 模型 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") audio_tagger = AudioTagging(checkpoint_path="Cnn14_DecisionLevelMax_mAP=0.438.pth", device=device) # 加载 Milvus milvus = Milvus(host="localhost", port=19530) # 定义向量维度和索引参数 dimension = 512 index_type = IndexType.IVF_FLAT metric_type = MetricType.IP # 处理音频文件 audio_file = "test.wav" waveform, sample_rate = torchaudio.load(audio_file) input_values = processor(waveform, sampling_rate=sample_rate, return_tensors="pt").input_values features = model(input_values).last_hidden_state # 提取音频特征向量 audio_features = audio_tagger.inference(features.cpu().detach().numpy()) # 向 Milvus 中添加向量 milvus_vectors = [audio_features.tolist()] status, ids = milvus.insert(collection_name="audio_collection", records=milvus_vectors, ids=[1]) print("Milvus vector ID:", ids[0]) ``` 其中，`test.wav` 是音频文件的路径，`audio_collection` 是 Milvus 中用于存储音频特征向量的集合名称。运行代码后，Milvus 将返回向量对应的 ID。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModaHub魔搭社区

共建低代码生态

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值