《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3新功能

最新推荐文章于 2024-10-17 11:39:06 发布
最新推荐文章于 2024-10-17 11:39:06 发布
阅读量663 收藏
点赞数
分类专栏： 《向量数据库指南》 文章标签： 算法 机器学习 人工智能 AI-native 向量数据库 Milvus Cloud 维格云
大禹智库
本文链接：https://blog.csdn.net/qinglingye/article/details/132719308
版权
Milvus Cloud 2.3引入新特性，包括支持 Upsert 功能，允许更新或插入数据（不支持自增id），Range Search功能，让用户按距离范围搜索，以及Cosine Metrics，原生支持在大模型领域的广泛应用。此外，新增count(*)接口实时计算行数，但高并发下可能影响性能。返回原始向量的功能也已加入，但可能影响性能，部分量化索引不支持该功能。
摘要由CSDN通过智能技术生成

New Feature

  • Upsert 功能

支持用户通过 upsert 接口更新或插入数据。已知限制，自增 id 不支持 upsert；upsert 是内部实现是 delete + insert所以性能上会有一定损耗，如果明确知道是写入数据的场景请继续使用 insert。

  • Range Search 功能

支持用户通过输入参数指定 search 的 distance 进行查询，返回所有与目标向量距离位于某一范围之内的结果。例如：

// add radius and range_filter to params in search_params
search_params = {"params": {"nprobe": 10, "radius": 10, "range_filter" : 20}, "metric_type": "L2"}
res = collection
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大禹智库
关注
专栏目录
订阅专栏
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3稳定性
实战AI智能体
09-07 266
还有一些其他的问题，比如节点之间的负载不均衡，CPU 使用率不高等。通过在不同的物理节点上创建数据的多个副本，可以在节点发生故障或者下线的情况下，保证服务的正常运行。在这个背景下，我们来谈谈 Milvus，一个开源的向量数据库，它在 2.1.0 版本中引入了内存多副本的概念。总的来说，Milvus 在 2.1.0 版本中引入的内存多副本和新的负载均衡算法，都是为了提高系统的稳定性和可用性。虽然在实际应用中还存在一些问题，但是通过不断的优化和改进，相信 Milvus 会越来越成熟，为用户提供更好的服务。
《向量数据库指南》——AI原生云向量数据库Milvus Cloud RBAC 的最佳实践
实战AI智能体
03-09 145
而你的大型客户大概有 50 个，他们的数据量较大，在千万到亿不等，对数据隔离和服务稳定性有严格的要求，希望支持知识库数据的对外集成。对于有数据隔离需求的电商、客服等业务，通过自定义角色，只需创建一个集群即可满足，进一步降低成本。例如，你是公司的 infra 团队负责人，专注于运维向量数据库，以满足 3-5 个业务团队推荐、搜索相关的 AI 应用需求，如电商、客服部门。在这类场景下，你的客户无需登录 Zilliz Cloud，管控层的组织管理员和项目管理员均应设置在你的团队。
Linux上使用Docker安装单机版Milvus向量数据库并配置访问控制和可视化面板Attu
withme977的博客
04-02 6139
Milvus是一款开源的向量数据库，它专为AI应用设计，用于管理和检索海量的特征向量。Milvus的优势主要包括：高效的向量检索性能：Milvus采用了多种先进的索引算法，如IVF, HNSW, ANNOY等，能够在大规模数据集上实现高效的近似最近邻搜索。易于扩展和维护：Milvus支持水平和垂直扩展，能够适应不断增长的数据规模和查询需求。它的分布式架构使得数据存储和计算能力可以灵活扩展。
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3架构升级
实战AI智能体
09-06 489
早在 Milvus 1.x 版本，我们就曾经支持过 GPU，但在 2.x 版本中由于切换成了分布式架构，同时出于对于成本方面的考虑，暂时未加入 GPU 支持。在 Milvus 2.0 发布后的一年多时间里，Milvus 社区对 GPU 的呼声越来越高，再加上 NVIDIA 工程师的大力配合——为 Knowhere（Milvus 索引引擎）增加了最新的 RAFT 算法支持，使得 Milvus 不仅加回了 GPU 支持，而且还以最快的速度支持了业界最新的算法。为什么要重写 QueryNode？
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3 Enhancement
实战AI智能体
09-07 242
对于标量向量的混合查询场景，Milvus 的执行计划是先执行标量过滤再执行向量检索，这就意味着标量过滤之后会有大量的数据被过滤掉，如果过滤掉的数据过多会引起向量索引性能急剧下降，通过优化 HNSW 索引的数据过滤策略，2.3.0 中优化了此场景中的性能。对于已索引的数据自然可以使用索引加速查询，但流式数据只能使用逐行暴力检索，对性能影响较大，为了解决此类问题在 2.3.0 中加入了 Growing index，自动为流式数据建立实时索引，保障查询性能。
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3 新功能ScaNN 索引和Iterator
实战AI智能体
09-07 402
Milvus 目前支持了 Faiss 中的 FastScan 算法，在各项 benchmark 中有着不俗的表现，对比 HNSW 有 20% 左右提升，约为 IVFFlat 的 7 倍，同时构建索引速度更快。ScaNN 在算法上跟 IVFPQ 比较类似，聚类分桶，然后桶里的向量使用 PQ 做量化，区别是 ScaNN 对于量化比较激进，搭配上 SIMD 计算效率较高，但是精度损失会比较大，需要有原始向量做 refine 的过程。Milvus 的 CDC 代码在。
《向量数据库指南》——AI原生云向量数据库Milvus Cloud RBAC
实战AI智能体
03-07 123
随着大型模型技术的日益成熟，越来越多企业积极尝试在内部应用这一前沿技术，上线各类创新的 AI 应用，这标志着科技领域的一大飞跃。项目是组织内部用于归类集群和其他相关资源的逻辑分组单位。在一个项目中，你可以创建若干集群，并管理集群级别的资源，包括项目成员、API 密钥、安全设置和监控等。在一个组织下，用户可以创建若干项目，并管理组织级别的资源，包括账单、组织成员、事件、系统设置以及回收站等。其中，组织是将拥有共同目标的多个项目汇聚在一起，例如，将某个特定业务单元下的所有项目整合在同一组织中。
《向量数据库指南》——AI原生云向量数据库Milvus Cloud RBAC 是如何工作的？
实战AI智能体
03-08 194
然而，考虑到特定业务需求，例如，只允许授权人员访问敏感数据或者希望使用 Collection 作为多租户隔离单元以确保安全隔离数据访问，Milvus Cloud 允许用户创建自定义角色。这些自定义角色能够定义对特定 Collection、Partition 或操作的权限，确保在使用 Milvus Cloud 时实现数据权限最小化原则。在管控层，角色掌管集群、项目、用户和账单等资源的操作权限，而在数据层，角色则专注于控制对 Cluster 数据的增、删、改、查的能力。
《向量数据库指南》——使用 AI原生云向量数据库Milvus Cloud的好处
实战AI智能体
08-04 335
此外，Milvus Cloud支持多种语言的 SDK，包括 Python、Java 和 Go（其他更多语言正在开发中），方便用户集成到现有的应用中。作为 LF AI&Data 基金会的毕业项目，Milvus Cloud的可靠性也具备极大的保障，因此，此外，Milvus Cloud还提供了广泛的功能，可以提高多模态 AI 应用的整体灵活性和功能性。此外，向量是深度学习模型所使用的“通用语言”。Milvus Cloud可以轻松处理向量，提升多模态应用数据访问效率，缩短回答响应时间，优化用户体验。
Javascript算法——双指针法移除元素、数组去重、比较含退格字符、有序数组平方
最新发布
警警的博客
10-17 292
暴力求解法（两层for循环）,length单词拼写错误❌二次嵌套for的length设置。return位置❌ ,核心基础。双指针法（一层for循环）
【算法】深入了解 CRC 校验码的计算过程
qq_20623849的博客
10-16 443
CRC（循环冗余校验，Cyclic Redundancy Check）是一种常见的错误检测方法，它通过生成冗余码来确保数据传输的可靠性。在这篇文章中，我们将探讨 CRC 码的基本原理，并详细介绍其计算过程。通过对数据进行 CRC 校验，我们可以在传输过程中检测到潜在的错误并采取适当的纠正措施。这个新的数据包在传输时，如果接收方再次计算 CRC 校验码并与附带的校验码进行比较，可以确定数据是否在传输过程中出现了错误。：将附加了零位的数据通过生成多项式进行二进制除法运算，得出的余数就是 CRC 校验码。
在顺序结构和链式结构的线性表上实现顺序检索算法
m0_56332819的博客
10-13 254
在顺序结构和链式结构的线性表上实现顺序检索算法，C语言
力扣10.13
qq_40052678的博客
10-13 395
如果鸡蛋碎了，你就不能再次使用它。如果某枚鸡蛋扔下后没有摔碎，则可以在之后的操作中 重复使用 这枚鸡蛋。每次操作，你可以取一枚 没有碎 的鸡蛋并把它从任一楼层。，以此类推，因此只需要判断最后的层数是否超过建筑高即可。楼层或比它低 的楼层落下的鸡蛋都 不会碎。函数传入操作次数k，可以发现，最优情况一定先在。确切的值 的 最小操作次数 是多少？的楼层落下的鸡蛋都 会碎 ，从。枚相同 的鸡蛋，和一栋从第。请你计算并返回要确定。
【鸟类识别系统】Python+卷积神经网络算法+人工智能+深度学习+ResNet50算法+计算机课设项目
子午的博客
10-12 1034
鸟类识别系统。本系统采用Python作为主要开发语言，通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型，然后进行模型的迭代训练，得到一个识别精度较高的模型，然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面，实现用户上传一张鸟类图像，识别其名称。本项目通过人工智能技术实现对鸟类图像的自动识别，满足用户在日常生活中快速、准确地识别鸟类的需求。
【稳定检索|权威出版】2024年先进算法与大数据、人工智能国际会议(AABDAI 2024)
wx_19980549041的博客
10-17 887
在数据爆炸式增长与人工智能技术飞速发展的当下，先进算法与大数据已成为推动各行各业转型升级的关键力量。为此，2024年先进算法与大数据、人工智能国际会议即将盛大召开，旨在汇聚全球顶尖的科研人员、技术专家及行业领袖，共同探讨这一领域的最新进展、创新应用与未来趋势。本次会议将深入剖析大数据处理与分析的前沿算法，包括机器学习、深度学习、强化学习等，探讨它们在金融、医疗、教育、智能制造等多个领域的应用与影响；
24/10/13 算法笔记 GoogLeNet
yyyy2711的博客
10-13 756
自定义卷积层的时候：创建一个具有特殊行为的卷积层，比如改变卷积核的大小，步长，填充或者添加特定的激活函数组合时，需要继承现有的层并重写forward函数。实现特殊模型时：如Inception网络，ResNet等，其中包含了多个并行的卷积路径，需要在forward函数中实现这些路径的数据流动。第二层：第一个卷积层64个通道，1*1卷积层，第二个卷积层使用将通道数量增加三倍的3*3卷积层，这对于inception块中的第二条路径。使用最大汇聚层，在空间上降低特征图的尺寸，同时保留最重要的信息。
力扣刷题之3158.求出出现两次数字的XOR值
m0_75213259的博客
10-12 530
初始化计数数组cnt，大小为MAX_NUM，用于记录每个数字的出现次数。初始化结果变量res为0。遍历输入数组nums，对每个元素进行以下操作：如果该元素已经出现过一次，则将其与结果变量res进行按位 XOR 运算。否则，将该元素的出现次数设置为1。返回结果变量res，即为所有出现两次数字的按位 XOR 值。
【代码随想录——数组——二刷】
qq_45467608的博客
10-17 535
给你一个按照非递减顺序排列的整数数组 nums，和一个目标值 target。请你找出给定目标值在数组中的开始位置和结束位置。如果数组中不存在目标值 target，返回 [-1, -1]。你必须设计并实现时间复杂度为 O(log n) 的算法解决此问题。return res//判断是否存在该元素= target {return resreturn res}else{return low}else{
24/10/12 算法笔记 汇聚层
yyyy2711的博客
10-12 295
在卷积神经网络（CNN）中，卷积层对空间降采样具有一定的敏感性，这意味着卷积层对输入数据的空间位置变化比较敏感。这种敏感性在某些情况下是有益的，因为它允许网络捕捉到精确的特征位置，但在其他情况下，我们可能希望网络对输入的微小变化更加鲁棒。在处理多通道输入数据时，汇聚层在每个输入通道上单独运算，而不是像卷积层一样在通道上对输入进行汇总。这意味着汇聚层的输出通道数与输入通道数相同。（pooling）层等于池化层，它具有双重目的：降低卷积层对位置的敏感性，同时降低对空间降采样表示的敏感性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大禹智库

大禹智库——河南第一民间智库

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值