Milvus的系统架构

最新推荐文章于 2024-05-28 15:47:08 发布
最新推荐文章于 2024-05-28 15:47:08 发布
阅读量158 收藏
点赞数 2
分类专栏： 人工智能 文章标签： milvus Faiss HNSW DiskANN SCANN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duzm200542901104/article/details/138890315
版权

简介

Milvus的构建在许多知名的向量搜索库比如Faiss, HNSW, DiskANN, SCANN等之上的，它针对稠密向量数据集的相似搜索而设计，能支持百万、十亿甚至万亿级别的向量搜索。

Milvus支持数据分片，流式数据插入，动态schema，搜索联合向量和标量，多向量和混合搜索，稀疏向量和其他更高级的功能。平台可以按需调整性能，并且能优化合适的embedding 检索场景。

Milvus采用共享存储和计算分离的架构，并且可以水平扩展它的计算节点，依据数据面与控制面向分离的原则，Milvus由四部分组成：访问层、协调服务、工作节点、存储。这些层都是互相独立的以用来解决易扩展和灾难恢复。

Milvus的系统架构

若石之上
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
前所未有的 Milvus 源码架构解析
ZILLIZ
02-18 2566
✏️编者按：Deep Dive 是由 Milvus 社区发起的代码解析系列直播，针对开源数据库 Milvus 整体架构开放式解读，与社区交流与分享 Milvus 最核心的设计理念。通过本...
Milvus2.0.X分布式集群版本架构
qq_15821487的博客
06-01 1118
https://milvus.io/cn/docs/v2.0.x/architecture_overview.mdMilvus 采用共享存储架构，存储计算完全分离，计算节点支持横向扩展。从架构上来看，Milvus 遵循数据流和控制流分离，整体分为了 四个层次，分别为接入层（access layer）、协调服务（coordinator service）、执行节点（worker node）和存储层（storage）。各个层次相互独立，独立扩展和容灾。1、接入层由一组无状态 proxy 组成，是整个系统的门面，对
向量检索库Milvus架构及数据处理流程
weixin_43843104的博客
10-23 1721
Sealed：Segment 已经被关闭了，它的空间不可以再往外分配。例如以登陆次数和平均观看时长作为特征时，余弦相似度会认为（1，10）、（10，100）两个用户距离很近，但显然这两个用户的活跃度是有着很大差异的，（10，100）这个用户的价值更高，此时我们更关注数值绝对差异，应当使用欧氏距离。milvus的索引内存数据，存储在query node中，当query扩容（或缩容）时，由于索引文件持久化在对象存储中，query coord会进行重新分配，从而拥有水平扩（缩）容的能力。
Milvus 介绍
一只努力的微服务
07-04 3433
代理本身是无状态的，可以借助负载均衡组件（Nginx、Kubernetes的Ingress、NodePort、LVS）向外界提供统一的访问地址和服务。为了在写入数据时充分利用集群的并行计算能力，Milvus 中的集合必须将数据写入操作分散到不同的节点。在 Milvus 中，所有数据都是按照集合（collection）、分片（shard）、分区（partition）、段（segment）和实体（entity）来组织的。相比之下，分片更多的是在写入数据时的扩展能力，而分区更多的是在读取数据时增强系统性能。
Milvus数据库介绍
wangqiaowq的博客
02-19 905
Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。Milvus 采用共享存储架构，​存储计算完全分离​，计算节点支持横向扩展。
Windows系统本地部署向量数据库milvus
Joeybee的博客
09-10 2145
这是milvus官网的地址。以下介绍来自milvus官网：Milvus 创建于 2019 年，其目标只有一个：存储、索引和管理由深度神经网络和其他机器学习 （ML） 模型生成的大量embedding vectors。作为专门设计用于处理对输入向量的查询的数据库，它能够以万亿级对向量进行索引。与现有关系数据库主要按照预定义模式处理结构化数据不同，Milvus 是自下而上设计的，用于处理从非结构化数据转换的embedding vectors。
Milvus 入门教程
司马懿的西山居
10-27 2539
milvus官网提供了demo，直接下载即可，地址：https://raw.githubusercontent.com/milvus-io/pymilvus/v2.3.2/examples/hello_milvus.py。官方示例demo文件的地址为：https://raw.githubusercontent.com/milvus-io/pymilvus/v2.3.2/examples/hello_milvus.py。我这里使用的是开源的Virtual box，网络使用的是net方式。
milvus测试
weixin_40579705的博客
10-11 1046
其实，我应该弄明白他的输入输出分别是什么？输入是图片，图片经过ml模型进行特征提取，再在milvus中进行存储或者检索。
Milvus
伊织的Notebook
03-30 832
Milvus 数据库是 LF AI & Data 基金会的毕业项目，能够管理大量非结构化数据集，在新药发现、推荐系统、聊天机器人等方面具有广泛的应用。Zilliz 构建了 Milvus 向量数据库，以加快下一代数据平台的发展。AI编程派 - Milvus：向量数据库入门。2024-03-27（三）
docs：Milvus文档
02-23
Milvus文档 该存储库包含技术文档， 是设计的开源矢量相似度搜索引擎。 可以在上找到最新的技术文档。 请注意，并非该存储库中存在网站上的所有文档。 一些项目具有自己的独立存储库和特定于项目的文档。 欢迎大家...
milvus安装资源以及zilliz安装资源
05-17
milvus 版本2.1.4 安装部署 前提，安装好docker 1、docker load -i xxx.tar 解压资源包 2、./conder-compose up -d //用docker-compost直接启动 3、docker run -itd --restart=always -p 13000:3000 -e HOST_URL=...
milvus-sdk-node:Milvus 节点 SDK
07-24
Milvus2-sdk-节点 这是milvus2-sdk-node对Milvus的基本介绍。 all 函数将返回一个 promise，因此我们可以使用 async await 来获取结果。 依赖关系 Milvus：v2.x 节点：v12+ 安装 npm install @ zilliz / milvus2 - ...
milvus的milvus.yaml 官方配置文件
11-01
这是milvus的官方的milvus.yaml配置文件。 主要是官网的地址无法wget rawgit下载。 所以搞一份方便大家。
milvus离线安装包1
11-17
milvus离线安装所需的镜像包，按照https://milvus.io/docs/v2.1.x/install_offline-docker.md#Download-files-and-images操作得到，一共3个包。
Milvus的内存索引
duzm200542901104的专栏
05-22 604
根据适用的数据类型，milvus支持的索引可以分为两类：embedding为浮点数的索引:距离度量方法：欧几里得距离（L2）和内积,索引包括：FLAT,IVF,IVF_FLAT,IVF_PQ,IVF_SQ8,和SCANN;embedding为二进制的索引:距离度量方法：Jaccard 和 Hamming,索引包括：BIN_FLAT 和 BIN_IVF_FLAT;embedding为稀疏的索引:距离度量方法只有IP,索引包括：SPARSE_INVERTED_INDEX和SPARSE_WAND
milvus索引
科技追踪者的专栏
05-28 280
Milvus是一个开源的向量数据库引擎，旨在支持大规模向量相似度搜索和分析。索引在Milvus中扮演着非常重要的角色，它们用于加速向量数据的检索。
基于 Milvus Cloud + LlamaIndex 实现初级 RAG
LCHub低代码社区
05-24 50
在增强过程中，初级 RAG 在如何有效地将检索到的段落的上下文与当前生成任务进行整合方面也面临着不小的挑战。冗余和重复也是一个棘手的问题，特别是当多个检索到的段落包含相似信息时，生成的回复中可能会出现重复的内容。低召回率会导致无法检索到所有的相关块，从而导致LLM的回复不够全面。此外，使用老旧的信息进一步加剧了问题，可能导致不准确的检索结果。生成回复质量面临着幻觉挑战，即 LLM 生成的答案并没有基于所提供的上下文，和上下文不相关，或者生成的回复存在着包含有害或歧视内容的潜在风险。
milvus 中的集合与 database
最新发布
科技追踪者的专栏
05-28 194
在Milvus中，集合（Collection）和数据库（Database）是两个不同的概念，它们之间存在一定的关系。
基于Milvus的多模态检索系统
11-20
基于 Milvus 的多模态检索系统可以实现对多种类型数据的检索，例如图像、文本、语音等。下面是一个简单的演示： 1. 首先，需要安装 Milvus 和相应的 Python SDK： ```shell pip install pymilvus==2.0.0rc5 pip install opencv-python==4.5.1.48 pip install Pillow==8.2.0 pip install grpcio==1.32.0 pip install grpcio-tools==1.32.0 ``` 2. 接下来，我们需要准备一些数据。这里以图像为例，将一些图像文件存储在本地文件夹中。 3. 然后，我们需要将这些图像向量化，并将它们插入到 Milvus 中。这里使用 ResNet50 模型提取图像特征，并使用 Milvus Python SDK 将特征向量插入到 Milvus 中。 ```python import os import cv2 import numpy as np from PIL import Image from milvus import Milvus, IndexType, MetricType, Status # 连接 Milvus milvus = Milvus(host='localhost', port='19530') # 创建 collection collection_name = 'image_collection' if collection_name in milvus.list_collections(): milvus.drop_collection(collection_name) milvus.create_collection(collection_name, {'fields': [ {'name': 'id', 'type': 'int64', 'is_primary': True}, {'name': 'embedding', 'type': 'float', 'params': {'dim': 2048}} ], 'segment_row_limit': 4096, 'auto_id': False}) # 加载 ResNet50 模型 model = cv2.dnn.readNetFromTorch('resnet50.t7') model.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV) model.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU) # 提取图像特征并插入到 Milvus 中 data_path = 'image_data' for i, file_name in enumerate(os.listdir(data_path)): file_path = os.path.join(data_path, file_name) img = cv2.imread(file_path) img = cv2.resize(img, (224, 224)) blob = cv2.dnn.blobFromImage(img, 1, (224, 224), (104, 117, 123)) model.setInput(blob) embedding = model.forward().flatten() status, ids = milvus.insert(collection_name=collection_name, records=[ {'id': i, 'embedding': embedding.tolist()} ]) print(f'Insert image {file_name} with id {ids[0]}') # 创建索引 milvus.create_index(collection_name, IndexType.IVF_FLAT, {'nlist': 128}) ``` 4. 现在，我们已经将图像向量化并插入到 Milvus 中了。接下来，我们可以使用 Milvus 的向量相似度搜索功能来实现多模态检索。这里以图像检索为例，给定一张查询图像，我们可以使用同样的方式提取其特征向量，并在 Milvus 中搜索与其相似的图像。 ```python # 加载查询图像 query_path = 'query_image.jpg' query_img = cv2.imread(query_path) query_img = cv2.resize(query_img, (224, 224)) query_blob = cv2.dnn.blobFromImage(query_img, 1, (224, 224), (104, 117, 123)) # 提取查询图像特征 model.setInput(query_blob) query_embedding = model.forward().flatten() # 在 Milvus 中搜索相似的图像 search_param = {'nprobe': 16} status, results = milvus.search(collection_name, query_embedding.tolist(), 10, search_params=search_param) print(f'Search results: {results}') ``` 以上就是一个简单的基于 Milvus 的多模态检索系统的演示。除了图像检索，我们也可以使用类似的方式实现文本、语音等多种类型数据的检索。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值