【Milvus】什么是 Milvus

最新推荐文章于 2025-04-24 21:39:48 发布

彬彬侠

最新推荐文章于 2025-04-24 21:39:48 发布

阅读量957

点赞数 23

分类专栏： Milvus | Chroma 文章标签： milvus 向量数据库

本文链接：https://blog.csdn.net/u013172930/article/details/147399686

版权

Milvus | Chroma 专栏收录该内容

25 篇文章

订阅专栏

Milvus 是一个开源的分布式向量数据库，专门设计用于存储、管理和搜索高维向量数据，广泛应用于机器学习和人工智能场景。它支持高效的相似性搜索（包括最近邻搜索和范围搜索），能够处理海量高维向量数据，同时提供灵活的扩展性和高性能。Milvus 是目前最流行的开源向量数据库之一，特别适合语义搜索、推荐系统、图像检索等应用。

以下是对 Milvus 的详细解释，涵盖其定义、核心特性、架构、工作原理、应用场景以及使用方式：

1. Milvus 是什么？

Milvus 是一个开源的向量数据库，最初由 Zilliz 团队开发，旨在解决高维向量数据的存储和高效检索问题。它能够处理由机器学习模型（如 BERT、ResNet 等）生成的嵌入向量，支持快速的近似最近邻（ANN）搜索。Milvus 的设计目标是：

高效性：支持亿级甚至十亿级向量的快速相似性搜索。
可扩展性：通过分布式架构支持大规模数据处理。
易用性：提供简单易用的 API 和多种语言的 SDK（如 Python、Java、Go）。

Milvus 的名字来源于拉丁语，意为“千”，象征其处理大规模数据的能力。它于 2019 年开源，目前由 LF AI & Data 基金会托管，社区活跃，广泛应用于学术和工业界。

2. 核心特性

Milvus 具有以下关键特性：

高效向量搜索：支持多种距离度量（欧几里得距离、余弦相似度、内积等），提供精确和近似最近邻搜索。
多种索引支持：支持多种索引算法，如 HNSW、IVF、ANNOY、PQ（Product Quantization）等，满足不同精度和性能需求。
分布式架构：通过分布式部署支持大规模向量数据存储和查询。
动态数据管理：支持实时插入、更新和删除向量数据。
混合查询：支持向量搜索与标量过滤结合（例如结合元数据的条件查询）。
多语言支持：提供 Python、Java、Go、C++ 等多种语言的 SDK。
云原生支持：可以通过 Docker、Kubernetes 部署，并支持云服务（如 Zilliz Cloud）。
元数据管理：支持存储与向量关联的元数据（如 ID、标签、时间戳），便于复杂查询。

3. 架构与工作原理

Milvus 采用模块化、分布式架构，将向量数据库的功能分解为多个组件，以实现高性能和可扩展性。其核心架构包括以下部分：

(1) 核心组件

协调服务（Coordinator Service）：
- 管理集群中的任务分配、元数据管理、负载均衡等。
- 包括查询协调器（Query Coordinator）、数据协调器（Data Coordinator）等。
查询节点（Query Node）：
- 负责执行向量搜索和标量过滤任务。
- 每个查询节点存储部分向量数据和索引，处理分布式查询。
数据节点（Data Node）：
- 负责数据的写入、更新和删除操作。
- 将数据持久化到存储系统中。
存储层：
- 使用对象存储（如 MinIO、S3）或文件系统存储向量数据和元数据。
- 支持日志存储（如 Kafka、Pulsar）以确保数据一致性。
客户端接口：
- 提供 SDK 和 RESTful API，方便用户与 Milvus 交互。

(2) 工作流程

向量生成：用户使用机器学习模型生成高维向量（如文本、图像的嵌入）。
数据插入：通过 Milvus 的 SDK 将向量及其元数据插入数据库，数据被分配到数据节点并持久化。
索引构建：Milvus 为向量构建索引（如 HNSW、IVF），加速后续查询。
查询执行：
- 用户提交查询向量，协调服务将查询分配到查询节点。
- 查询节点使用索引执行相似性搜索（基于距离度量）。
- 可结合元数据过滤（如“只返回时间戳晚于 2025-01-01 的结果”）。
结果返回：返回最相似的向量及其元数据。

(3) 索引算法

Milvus 支持多种索引算法，适用于不同场景：

HNSW（Hierarchical Navigable Small World）：基于图结构，适合高精度、低延迟的搜索。
IVF（Inverted File Index）：将向量分组到簇中，适合大规模数据。
PQ（Product Quantization）：通过量化压缩向量，降低存储和计算成本。
ANNOY：基于树结构，适合内存受限场景。
Flat：无索引，直接暴力搜索，适合小规模数据或高精度需求。

用户可以根据数据规模、查询延迟和精度要求选择合适的索引。

4. 应用场景

Milvus 被广泛应用于需要高效向量搜索的场景，包括：

语义搜索：基于语义的文本搜索，例如查找与“人工智能”语义相近的文档。
推荐系统：根据用户行为向量推荐相似产品或内容。
图像检索：通过图像特征向量查找相似图片（如电商平台的产品搜索）。
视频分析：匹配相似视频片段或帧。
语音处理：查找相似的音频或语音片段。
异常检测：通过向量距离识别异常数据（如金融欺诈检测）。
知识图谱：结合向量搜索和元数据查询，构建智能问答系统。

5. 与其他向量数据库的对比

以下是 Milvus 与其他向量数据库的简要对比：

特性	Milvus	Pinecone	Faiss
类型	开源分布式向量数据库	云原生商业向量数据库	开源向量搜索库
部署方式	本地、云（Zilliz Cloud）、Kubernetes	云服务	本地（需自行集成）
索引支持	HNSW、IVF、PQ、ANNOY 等	专有索引	HNSW、IVF、PQ 等
分布式支持	原生支持	原生支持	无（需手动扩展）
混合查询	支持向量 + 标量过滤	支持	有限支持
易用性	高（SDK 丰富）	高（托管服务）	中（需自行集成）
适用场景	大规模、复杂查询	快速上线、托管需求	小规模、研究场景

Milvus 的优势在于其开源性、分布式架构和丰富的索引支持，适合需要高度定制和大规模部署的场景。

6. 如何使用 Milvus

使用 Milvus 通常包括以下步骤：

(1) 安装 Milvus

本地安装：通过 Docker 或源码安装。

docker run -d --name milvus_standalone -p 19530:19530 milvusdb/milvus:latest

云部署：使用 Zilliz Cloud 或 Kubernetes 部署。

(2) 准备数据

使用机器学习模型生成向量（如使用 Sentence-BERT 生成文本嵌入）。
准备元数据（如 ID、标签）。

(3) 通过 SDK 操作

Milvus 提供 Python SDK（pymilvus）等，常用操作包括：

连接 Milvus：

from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")

创建集合：

client.create_collection(collection_name="example", dimension=128)

插入数据：

data = [
    {"id": i, "vector": [float(x) for x in range(128)], "metadata": {"category": "test"}}
    for i in range(1000)
]
client.insert(collection_name="example", data=data)

构建索引：

from pymilvus.milvus_client import IndexParams
index_params_dict = {"index_type": "HNSW","index_name":"vector_idx", "metric_type": "L2", "params": {"M": 16, "efConstruction": 200}}
index_params = IndexParams( field_name="vector",**index_params_dict)
client.create_index(collection_name="example", index_params=index_params)

查询：

query_vector = [float(x) for x in range(128)]
results = client.search(
    collection_name="example",
    data=[query_vector],
    limit=10,
    filter="metadata['category'] == 'test'",
    output_fields=["id", "metadata"]
)