milvus元数据解析工具milvusmetagui介绍使用

于 2024-06-19 14:19:13 发布
阅读量260 收藏 4
点赞数 4
分类专栏： milvus向量数据库 文章标签： milvus 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shulu/article/details/139801729
版权

简介

milvusmetagui是一款用来对milvus的元数据进行解析的工具，milvus的元数据存储在etcd上，而且经过了序列化，通过etcd-manager这样的工具来查看是一堆二进制乱码，因此开发了这个工具对value进行反序列化解析。
在这里为了方便交流，建立了一个q群:937787074
项目地址:
https://github.com/melodyfx/milvusmetagui/

使用

1.解析database

通过etcd-manager工具搜索database/db-info可以列出milvus中的数据库。

在这里插入图片描述

取其中一个，例如by-dev/meta/root-coord/database/db-info/1

在这里插入图片描述

2.解析collection

通过etcd-manager工具搜索database/collection-info可以列出milvus中的collection。

在这里插入图片描述

取其中一个，例如by-dev/meta/root-coord/database/collection-info/1/449952137045880999

在这里插入图片描述

3.解析fields

通过etcd-manager工具搜索root-coord/fields可以列出milvus中的field。

在这里插入图片描述

取其中一个，例如by-dev/meta/root-coord/fields/449952137045880999/102

在这里插入图片描述

4.解析field-index

通过etcd-manager工具搜索field-index可以列出milvus中的field-index。

在这里插入图片描述

取其中一个，例如by-dev/meta/field-index/449952137045880999/449952137045881004

在这里插入图片描述

5.解析segment-index

通过etcd-manager工具搜索segment-index可以列出milvus中的segment-index。

在这里插入图片描述

取其中一个，例如by-dev/meta/segment-index/449952137045880999/449952137045881000/449952137046086601/449952137047289214

在这里插入图片描述

6.解析partition

通过etcd-manager工具搜索root-coord/partitions可以列出milvus中的partition。

在这里插入图片描述

取其中一个，例如by-dev/meta/segment-index/449952137045880999/449952137045881000/449952137046086601/449952137047289214

在这里插入图片描述

shulu
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mysql 元数据管理_Milvus元数据管理
weixin_34028581的博客
02-04 1019
我们在《Milvus在大规模向量检索场景下的数据管理》一文中介绍过一些关于元数据(meta data)的信息。Milvus使用SQLite或者MySQL来管理数据文件的状态和信息。元数据有两张表，一张叫Tables，用于记录向量表的信息；一张叫TableFiles，用于记录向量数据文件以及索引文件的状态和信息。这篇文章将会详细解释这两张meta表的每个字段，包括它们各自的含义以及Milvus在...
milvus向量数据库命令行工具
天才小犀牛
12-26 1542
milvus向量数据库的日常管理
Milvus 介绍
一只努力的微服务
07-04 3519
代理本身是无状态的，可以借助负载均衡组件（Nginx、Kubernetes的Ingress、NodePort、LVS）向外界提供统一的访问地址和服务。为了在写入数据时充分利用集群的并行计算能力，Milvus 中的集合必须将数据写入操作分散到不同的节点。在 Milvus 中，所有数据都是按照集合（collection）、分片（shard）、分区（partition）、段（segment）和实体（entity）来组织的。相比之下，分片更多的是在写入数据时的扩展能力，而分区更多的是在读取数据时增强系统性能。
Milvus数据库介绍
wangqiaowq的博客
02-19 974
Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。Milvus 采用共享存储架构，​存储计算完全分离​，计算节点支持横向扩展。
Milvus 数据迁移工具 -- Milvusdm
ZILLIZ
03-09 1470
Milvusdm (Milvus Data Migration) 是一款针对 Milvus 研发的数据迁移工具，支持 Milvus 数据传输以及数据文件的导入与导出：Faiss to Mi...
Milvus数据实体的插入、修改、删除
AI学长
03-14 2104
Milvus数据实体的插入、修改、删除
Milvus的数据处理流程
duzm200542901104的专栏
05-16 619
milvus的数据插入，索引构建和数据查询的实现细节
安装Milvus的可视化工具Attu教程
Sonsay的专栏
04-18 915
至此安装完成！浏览器输入地址 http:127.0.0.1:8000即可访问。
Milvus 使用 java方式
qq_56352553的博客
03-20 1035
需要跟milvus交互都需要调用MilvusServiceClient，我这里的做法是把它定义成一个Bean，需要用到的地方依赖注入。或 注意 @Value(“${milvus.port}”) 原理一致。2.创建集合 + 创建索引 + 把集合加载到内存中。1.判断集合是否已经存在。
milvus向量数据库，使用ppt介绍
06-03
基于向量存储，检索工具milvus工具，使用简介
Milvus安装工具包
06-12
Milvus安装工具包
Milvus可视化工具Attu的Windows安装包
04-18
Milvus可视化工具Attu的Windows安装包
Milvus开源向量数据库，提供向量相似度搜索
11-01
Milvus 是一款全球领先的开源向量数据库，赋能 AI 应用和向量相似度搜索，加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。 Milvus 2.0 是一款云原生向量数据库，采用存储与计算分离的架构...
milvus-sdk-node:Milvus 节点 SDK
07-24
这是milvus2-sdk-node对Milvus的基本介绍。 all 函数将返回一个 promise，因此我们可以使用 async await 来获取结果。 依赖关系 Milvus：v2.x 节点：v12+ 安装 npm install @ zilliz / milvus2 - sdk - node 先决...
milvus的GPU索引
duzm200542901104的专栏
06-13 778
前言milvus支持多种GPU索引类型，它能加速查询的性能和效率，特别是在高吞吐量，低延迟和高召回率的场景。本文我们将介绍milvus支持的各种GPU索引类型以及它们适用的场景、性能特点。下图展示了milvus的几种索引的查询性能对比，通过下图我们发现批量查询的场景性能会更好GPU_CAGRAGPU_CAGRA是一个针对GPU优化的基于图的索引，它在GPU上能很好的执行推理。它最适合只有少量查询的场景，通过低频的内存训练的GPU通常得不到最优的结果。
Milvus向量数据库
JustinMars的博客
06-14 176
Milvus 是一个专注于向量数据存储和高效查询的开源数据库系统。它的设计目标是支持大规模向量数据的存储、索引和查询，特别适用于以向量为核心的应用场景，如相似度搜索、推荐系统等。
Milvus向量数据库：处理和分析大规模向量数据
最新发布
06-16 579
在当今数据驱动的世界中，处理和存储大规模非结构化数据是许多企业和研究机构面临的主要挑战。传统关系型数据库在处理结构化数据方面表现出色，但在处理非结构化数据，尤其是向量数据方面却力不从心。随着人工智能和机器学习技术的飞速发展，向量数据的重要性日益凸显。向量数据广泛应用于图像识别、自然语言处理、推荐系统等领域，因此对高效的向量数据库的需求愈发迫切。Milvus作为新一代开源向量数据库，因其高性能和易用性受到了广泛关注和采用。那么，为什么选择Milvus作为你的向量数据库？本文将从多个角度深入探讨这一问题。
Milvus跨集群数据迁移
ZILLIZ
06-13 1002
将 Milvus 数据从 A 集群（K8S集群）迁到 B 集群（K8S集群），解决方案很多，这里提供一个使用官方 milvus-backup 工具进行数据迁移的方案。注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。步骤概览制作 milvus-backup 镜像，方便备份工具在 K8S 集群中使用 service name 访问 milvus 和...
Java使用milvus
03-30
作为一个人工智能引擎，Milvus可以与Java编程语言集成，为开发者提供高效的数据存储和检索功能。以下是使用Java与Milvus进行集成的步骤： 1. 下载并安装Java SDK和Milvus服务器。 2. 在Java项目中添加Milvus的依赖项。 3. 连接到Milvus服务器。 ```java import io.milvus.client.*; MilvusClient client = new MilvusGrpcClient("localhost", 19530); ``` 4. 创建集合。 ```java String collectionName = "my_collection"; int dimension = 128; CollectionMapping collectionMapping = CollectionMapping.newBuilder() .setCollectionName(collectionName) .setDimension(dimension) .setIndexFileSize(1024) .setMetricType(MetricType.L2) .build(); client.createCollection(collectionMapping); ``` 5. 插入向量数据。 ```java List<FloatVector> vectors = new ArrayList<>(); vectors.add(FloatVector.newBuilder().addValue(1.0f).addValue(2.0f).build()); vectors.add(FloatVector.newBuilder().addValue(2.0f).addValue(3.0f).build()); List<Long> ids = client.insert(collectionName, vectors); ``` 6. 进行向量检索。 ```java SearchParam searchParam = SearchParam.newBuilder() .setCollectionName(collectionName) .setQueryRecordNum(10) .setQueryRangeArray( Range.newBuilder() .setStartValue(0.0) .setEndValue(1.0) .build() ).build(); SearchResponse searchResponse = client.search(searchParam); ``` 7. 删除数据和集合。 ```java client.deleteByIds(collectionName, ids); client.dropCollection(collectionName); ``` 以上是使用Java与Milvus进行集成的基本步骤。开发者可以根据自己的需求进行定制化开发，以实现更高效的数据存储和检索。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shulu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值