oracle查询多个分区数据_Milvus 实战 | 基于分区表实现结构化数据与非结构化数据的混合查询...

本文介绍了如何使用 Milvus 的分区功能来解决混合查询的问题,通过将非结构化数据的属性标签组合成分区标签,实现结构化数据与非结构化数据的快速过滤和相似性检索。相比结合 PostgreSQL 的方案,这种新方法更直接且高效。
摘要由CSDN通过智能技术生成

13c1ad28ae1c49c3ea2a3f3cd7cc4601.png

通过深度学习的神经网络模型,可以将图片、视频、语音、还有文本等非结构化数据转换为特征向量。除了结构化的向量,这些数据往往也需添加其他属性。如人脸图片,可以添加性别、是否戴眼镜、图片抓取时间等标签;文本可以添加语言类型、语料分类、文本创建时间等标签。由于这些特性,往往需要实现结构化数据和非结构化数据的混合查询。

Milvus 是一款开源的、针对海量特征向量的相似性搜索引擎,在此之前,Milvus 曾给出过一个结合PostgreSQL实现混合查询的方案。该方案是先将特征向量在 Milvus 内做相似度检索,然后 Milvus 返回的结果集再通过 PostgreSQL 过滤结构化属性,得到最终结果。由于是先做向量的相似度检索,然后再从相似度搜索得出的结果中筛选满足属性条件的结果,可能会造成结果集有损失,因为满足属性的一些结果集可能在向量相似度检索时已经被过滤掉了,而相似度靠前的向量集却不满足附加的属性条件。

得益于 Milvus 0.6.0 新增的分区功能,上述问题在 Milvus 0.6.0 有了新的解决方案,同时 Milvus 的应用场景也更加广阔( Milvus 分区功能详解: Milvus 0.6.0新增功能:分区表)。那么,Milvus 分区功能是如何来解决混合查询的问题呢?

解决方案

将非结构化数据对应的多个属性标签组合为一个字符串作为 Milvus 一个分区的标签,特征向量将按分区存储,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值