向量数据库 Milvus 的高可用

原创 于 2025-10-04 15:55:38 发布 · 468 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #milvus

AI的出现，是否能替代IT从业者？ 10w+人浏览 1.1k人参与

目录

Milvus 采用云原生分布式架构和多项针对性设计来保障系统高可用性，确保在各类故障场景下服务持续稳定运行。以下是其核心高可用机制概览：

高可用维度 Milvus 实现机制
整体架构 计算与存储分离的云原生架构，支持组件独立扩展与恢复
协调器 (Coordinator) HA 主备模式（Active-Standby），主节点故障时自动切换
工作节点 (Worker Node) HA Query Node/Data Node 多副本部署，故障自动转移
存储层 HA 依托 etcd/Pulsar/S3 等具备高可用能力的底层存储
数据与故障恢复 数据副本、备份恢复和实时数据同步（CDC）机制

🔄 核心组件高可用机制

协调器高可用：

  • Milvus 2.2.3+ 版本支持 RootCoord/DataCoord 等协调器的主备模式
  • 多实例通过 etcd 竞争主节点角色
  • 主节点故障时秒级自动切换（通常数十秒内完成）

工作节点与接入层高可用：

  • Proxy：无状态设计，支持多实例部署配合 K8s 负载均衡
  • Query/Data Node：多副本部署，故障时协调器自动重新分配任务

最低0.47元/天 解锁文章
ModaHub魔搭社区：Milvus 数据迁移工具 – MilvusDM
实战AI智能体
07-03 881
MilvusDM：将未压缩的 Faiss 文件导入 Milvus：将 HDF5 格式的文件导入 Milvus：支持 Milvus 之间的数据迁移：将 Milvus 数据批量备份为 HDF5 格式的本地文件开发者使用 MilvusDM 可以提升数据管理效率，降低运维成本。在之前发布的文章《Milvus 迁移升级攻略》中，我们介绍了如何将 Milvus 数据从有网环境迁移到无网环境以及不同版本 Milvus 之间的数据迁移。
开源的向量数据库Milvus
xuweilin的博客
08-19 4982
Milvus是一款开源的向量数据库，专为处理向量搜索任务而设计，尤其擅长处理大规模向量数据的相似度检索。
Milvus 高可用与故障恢复策略
03-26 2568
随着 AI 语义搜索、推荐系统、计算机视觉等应用的快速发展，**向量数据库** 在海量数据检索和存储中的作用越来越重要。作为业界领先的开源向量数据库，**Milvus** 需要在生产环境下提供 **高可用（High Availability, HA）和故障恢复（Disaster Recovery, DR）** 机制，以确保 **服务稳定、数据安全、查询不中断**。本文将介绍 **Milvus 在分布式环境下的高可用架构**，并详细解析 **数据持久化、自动扩容、负载均衡、故障恢复** 等核心技术。
【Milvus：无法使用 Milvus 集群？如何通过 [ 双写冷备 ] 保障高可用与数据一致性（冗余的艺术）】
最新发布
辣机小司的博客
08-29 793
作为一名成熟的开发者，架构设计中最关键的考量永远是高可用与数据一致性。但在实际项目中，理想条件往往并不存在——最近我就遇到了一个典型场景：生产环境无法使用`Milvus集群`，却仍要保证向量检索服务的高可用。
milvus高可用搭建
ukakasu的博客
08-11 1796
**- 基于keepalived部署milvus高可用问题： 双写冷备：两个写节点不能同时启动，否则会导致数据重复，通过增加与网关的连通性来解决可能同时启动的问题，但不能完全保证没有特殊情况的存在。另外宕机时可能会导致数据丢失。 一写一读：可以同时启动，但是写节点宕机时，数据不能写入。 ** - 基于minio的共享存储，写入速度比本地磁盘慢，如果数据量较大需要适当减小index_file_size，默认1024M，可设置为512M。** 一、milvus安装 docker pull milvus 新建目录
milvus文档
baby_you_Know的博客
02-15 5640
milvus 自己的理解
Milvus实战 | 基于Keepalived的高可用方案
ZILLIZ
12-19 1426
Milvus 与 KeepalivedMilvus 作为一款性能领先、易学易用的向量搜索引擎，项目开源以来受到广泛关注，数百名开发者加入了 Milvus 社区开始测试、使用，贡献文档、代...
2024C++及系统软件技术大会-许维芷-向量数据库Milvus高性能实践
05-16
在2024C++及系统软件技术大会上，高级软件工程师许维芷发表了关于向量数据库Milvus在高性能实践方面的演讲。许维芷是Zilliz公司的高级软件工程师，她在向量搜索领域拥有多年经验，并曾在国际顶级会议和期刊如VLDB、...
【向量数据库】Milvus向量数据库 ① 从入门到实战
xiezhiyi007的专栏
05-05 1137
Milvus是专为海量高维向量设计的开源数据库，支持AI搜索、图像识别、推荐系统等场景。相比传统关系型数据库（如PostgreSQL），它更高效处理语义检索、非结构化数据存储，可毫秒级响应亿级向量查询。单机场景下，推荐配置8GB内存/32GB硬盘，支持FAISS/HNSW等索引算法，支持GPU加速。本文涵盖CSDN专属部署教程（CentOS脚本/配置调优），提供避坑指南与扩展资源，并对比分析与传统数据库差异。适合算法工程师、AI开发人员快速上手，附官方下载与性能测试技巧，手把手教你搭建高效向量检索系统！
向量数据库Milvus03-高级功能与性能调优
https://github.com/foxpup11?tab=repositories
05-24 1711
Milvus 支持多种索引类型（如 HNSW、IVF_PQ、IVF_FLAT）的混合使用，以适应不同场景的需求。：启用 Tiered Storage + RaBitQ 量化压缩。：使用 IVF_PQ 或 IVF_SQ，平衡速度与内存。功能，支持结合向量相似性与文本匹配的联合搜索。：使用 FLAT 或 HNSW，保证精度。，结合 GPU 显著提升 QPS。：本文为原创文章，转载请注明出处。Milvus 2.5 引入了。Milvus 2.6 引入。Milvus 2.6 支持。，支持 PB 级数据管理。
向量数据库Milvus简单上手
MoyiTech
03-05 2176
在Milvus，和pkrandomembeddingspkrandomembeddings总结来说，在Milvus中，是存储数据的容器，是collection中的数据项，而指的是多个Milvus实例组成的集群环境。
向量数据库Milvus快速入门——AIDOCZH.COM上线Milvus中文文档
数智笔记
06-17 3419
本页面旨在通过回答几个问题来为您提供Milvus的概述。阅读本页面后，您将了解Milvus是什么，它是如何工作的，以及关键概念、为什么使用Milvus、支持的索引和度量、示例应用程序、架构和相关工具。Milvus是在2019年创建的，其唯一目标是存储、索引和管理由深度神经网络和其他机器学习（ML）模型生成的大规模嵌入向量。作为一个专门设计用于处理输入向量查询的数据库，它能够在万亿级别上对向量进行索引。与现有的主要处理遵循预定义模式的结构化数据的关系型数据库不同，Milvus是从底层开始设计的，用于处理从。
用Keepalived搭建milvus高可用方案
li837298499的博客
04-15 1168
用Keepalived搭建milvus高可用方案 本人是在centos中搭建项目,如有问题还请多讨论。 准备工作如下: 1.准备两台服务器 本人192.168.78.118 192.168.78.119 2.两台机器安装docker容器,Python 3.6版本和pip Python安装参照https://www.cnblogs.com/yjlch1016/p/9289588.html pip安装可按照https://pip.pypa.io/en/stable/installing/ 3.安装mys
门槛一降再降，易用性大幅提升！Milvus 2.2.12 持续升级中
ZILLIZ
07-27 469
如大家所知，在 Milvus 2.2.8 支持 JSON 类型之后，我们立刻收到了大量的用户反馈，其中呼声最高的就是支持 JSON 数组的各种运算，包括包含、不包含、交集、并集、差集等等。近期，Milvus 上线了 2.2.12 版本，此次更新不仅一次性增加了支持 Restful API、召回原始向量、json_contains 函数这三大特性，还优化了 standalone 模式下的 CPU 使用、查询链路等性能，用一句话总结就是：低门槛、高可用、强性能。优化查询链路，跳过无必要的 reduce 步骤。
《Milvus Cloud向量数据库指南》——高可用（HA）与容错：数据库系统可靠性的双翼
实战AI智能体
08-07 1196
高可用性，简而言之，是指系统能够持续提供服务的能力，即便在面临部分组件故障或维护操作的情况下，也能通过快速恢复机制确保服务的不间断性。其核心在于“快速恢复”与“最小化停机时间”，旨在将服务中断对用户的影响降至最低。
【GitHub开源项目实战】Milvus 工业级向量数据库实战指南：高可用检索系统构建与多模型 RAG 应用优化全解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-18 1969
Milvus 提供了完备的向量索引机制（包括 IVF, HNSW, PQ, DiskANN 等），支持浮点/稀疏/二值等多种向量类型；其基于分布式微服务架构设计，可通过 Milvus Standalone 快速部署，也支持结合 Kubernetes 构建高可用集群。通过 Python SDK（pymilvus）、REST 网关、gRPC 接口等方式，用户可高效完成向量数据导入、查询、更新与管理。
基于 milvus-backup 的 milvus 数据迁移
2302_78308374的博客
04-07 1922
数据迁移：要把第一个 milvus 集群数据迁移到第二个 milvus 集群。
《Milvus Cloud向量数据库指南》——什么是高可用：深入理解数据库系统中的高可用性架构
实战AI智能体
08-04 281
高可用性的概念不仅仅局限于减少停机时间，它还包括了系统在面对各种挑战时能够快速恢复服务的能力。在数据库系统中，这意味着即使面临硬件故障、网络中断或软件崩溃等突发情况，系统依然能够保持数据的完整性和服务的连续性，确保用户访问不受影响或影响最小化。高可用性之所以重要，是因为它直接关系到企业的业务连续性、客户满意度以及市场竞争力。在高度竞争的市场环境中，任何一次长时间的服务中断都可能导致客户流失、品牌信誉受损，甚至造成巨大的经济损失。因此，构建高可用的数据库系统已成为现代企业IT战略规划中的关键环节。
Milvus数据库介绍
wangqiaowq的博客
02-19 1808
Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。Milvus 采用共享存储架构，​存储计算完全分离​，计算节点支持横向扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值