最火向量数据库Milvus安装使用一条龙！

于 2025-04-26 09:20:35 发布
阅读量653 收藏 16
点赞数 10
文章标签： 数据库 milvus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69632475/article/details/147526614
版权

向量数据库是大模型应用开发必备组件之一，因为它在知识库、语义搜索、检索增强生成（RAG）等人工智能应用中发挥着举足轻重的作用。但向量数据有很多，为什么要使用 Milvus 呢？

常见向量数据

常见的向量数据库有以下这些：

  • Chroma

  • Elasticsearch

  • Milvus

  • Neo4j

  • OpenSearch

  • Redis

  • PGVector

然而目前市面上使用最多的向量数据库还是 Milvus，为什么呢？

这点从企业的招聘要求中也能发现：

图片

为什么是 Milvus？

Milvus 设计之初就是为 AI  而生的一个高效的向量数据库系统，在大多数情况下，Milvus 的性能是其他向量数据库的 2-5 倍，它能实现万亿级向量的毫秒级相似性搜索，而且 Milvus 还是开源的向量数据库。

“

PS：也就说 Milvus 既开源（可以免费使用+支持二次开发）又具备高性能，这样的数据库谁不爱呢？

为什么 Milvus 这么快？

Milvus 运行比较快的原因有以下几个：

  • 硬件感知优化：为了让 Milvus 适应各种硬件环境，我们专门针对多种硬件架构和平台优化了其性能，包括 AVX512、SIMD、GPU 和 NVMe SSD。

  • 高级搜索算法：Milvus 支持多种内存和磁盘索引/搜索算法，包括 IVF、HNSW、DiskANN 等，所有这些算法都经过了深度优化。与 FAISS 和 HNSWLib 等流行实现相比，Milvus 的性能提高了 30%-70%。

  • C++ 搜索引擎：向量数据库性能的 80% 以上取决于其搜索引擎。由于 C++ 语言的高性能、底层优化和高效资源管理，Milvus 将 C++ 用于这一关键组件。最重要的是，Milvus 集成了大量硬件感知代码优化，从汇编级向量到多线程并行化和调度，以充分利用硬件能力。

  • 面向列：Milvus 是面向列的向量数据库系统。其主要优势来自数据访问模式。在执行查询时，面向列的数据库只读取查询中涉及的特定字段，而不是整行，这大大减少了访问的数据量。此外，对基于列的数据的操作可以很容易地进行向量化，从而可以一次性在整个列中应用操作，进一步提高性能。

Milvus 支持的搜索类型

Milvus 支持各种类型的搜索功能，以满足不同用例的需求：

  • ANN 搜索：查找最接近查询向量的前 K 个向量。

  • 过滤搜索：在指定的过滤条件下执行 ANN 搜索。

  • 范围搜索：查找查询向量指定半径范围内的向量。

  • 混合搜索：基于多个向量场进行 ANN 搜索。

  • 全文搜索：基于 BM25 的全文搜索。

  • Rerankers：根据附加标准或辅助算法调整搜索结果顺序，完善初始 ANN 搜索结果。

  • 根据主键检索数据。

  • 查询使用特定表达式检索数据。

Milvus 安装

Milvus 有三种部署方式：

  • Milvus Lite：Milvus Lite 是一个 Python 库，可导入到您的应用程序中。作为 Milvus 的轻量级版本，它非常适合在 Jupyter 笔记本或资源有限的智能设备上运行快速原型。Milvus Lite 支持与 Milvus 其他部署相同的 API。与 Milvus Lite 交互的客户端代码也能与其他部署模式下的 Milvus 实例协同工作。

  • Milvus Standalone：Milvus Standalone 是单机服务器部署。Milvus Standalone 的所有组件都打包到一个 Docker 镜像中，部署起来非常方便。

  • Milvus Distributed：Milvus Distributed 可部署在 Kubernetes 集群上。这种部署采用云原生架构，摄取负载和搜索查询分别由独立节点处理，允许关键组件冗余。它具有最高的可扩展性和可用性，并能灵活定制每个组件中分配的资源。Milvus Distributed 是在生产中运行大规模向量搜索系统的企业用户的首选。

“

PS：当然中小型公司生产环境也可以直接购买 XXX 云的 Milvus 实例直接使用。

我们这里使用 Milvus Standalone 单机版部署方式。

硬件要求

图片

前提条件

  • 安装 Docker Desktop：点击下载软件安装 https://www.docker.com/get-started/

    图片

    安装之后，需要重启电脑，并且电脑会进行 Linux 子系统更新才能正常启动，此过程可能会比较慢。

  • 安装 Windows Subsystem for Linux 2 (WSL 2)：通常不需要单独安装，安装 Docker Desktop 时会自动安装。

正式安装

1.打开 PowerShell。

2.下载安装脚本，命令如下：

Invoke-WebRequest https://raw.githubusercontent.com/milvus-io/milvus/refs/heads/master/scripts/standalone_embed.bat -OutFile standalone.bat

3.运行下载的脚本

standalone.bat start

最终执行效果如下：

图片

运行安装脚本后，包含以下内容：

  • 名为 Milvus-standalone 的 docker 容器已在19530 端口启动。

  • 嵌入式 etcd 与 Milvus 安装在同一个容器中，服务端口为 2379。其配置文件被映射到当前文件夹中的 embedEtcd.yaml。

  • Milvus 数据卷映射到当前文件夹中的 volumes/milvus。

在 Docker Desktop 也可以看到安装的 Milvus 相关组件：

图片

参考官方文档：https://milvus.io/docs/zh/install_standalone-windows.md

安装 UI 客户端

Milvus 服务安装成功之后，可以按照一个 UI 客户端连接 Milvus 服务，使用官方提供的客户端 attu：https://github.com/zilliztech/attu

具体安装步骤如下：

1.访问下载安装包（attu-Setup-2.4.12.exe）地址：https://github.com/zilliztech/attu/releases/tag/v2.4.12

2.解压并安装 attu。

安装成功之后连接本地 Milvus 服务，如下图所示：

图片

图片

小结

Milvus 作为开源高性能向量数据库的代表，它的安装也不难，如果顺利的情况下，可能 5 分钟左右就搞定了。安装完成之后就用它加上 Spring AI 或 LangChain4j 来实现一下 RAG 功能吧。

docker安装向量数据库milvus
蔡定努
05-11 2044
向量数据库是一种特殊的数据库，它以多维向量的形式保存信息。根据数据的复杂性和细节，每个向量的维数变化很大，从几个到几千个不等。这些数据可能包括文本、图像、音频和视频，使用各种过程(如机器学习模型、词嵌入或特征提取技术)将其转换为向量。矢量数据库的主要优点是它能够根据数据的矢量接近度或相似性快速准确地定位和检索数据。这允许基于语义或上下文相关性的搜索，而不是像传统数据库那样仅仅依赖于精确匹配或设置标准。推荐系统：向量数据库可以用于存储用户和物品的特征向量，以便实现个性化推荐。
高阶知识库搭建实战五、（向量数据库Milvus安装）
xiaoqi270620903的专栏
01-04 625
通过以上步骤，你可以在Windows环境下成功搭建并使用Milvus向量数据库，进行向量数据的存储、索引和搜索操作。
Milvus向量数据库
科学的N次方
06-14 489
Milvus 是一个开源的向量数据库，专为处理高维向量数据而设计，常用于大规模向量相似性搜索和基于向量的机器学习应用。它支持高效地管理、搜索和操作嵌入（如文本、图像、音频的特征向量），在推荐系统、图像检索、语义搜索等领域有广泛应用。
Milvus 向量数据库的特点与优势
03-21 1022
在人工智能和大数据应用快速发展的今天，向量数据库（Vector Database）成为处理海量非结构化数据的重要工具。Milvus 作为开源的向量数据库，凭借其卓越的性能、可扩展性和灵活性，成为业界领先的解决方案之一。本文将详细介绍 Milvus 的特点和优势，并分析其在不同应用场景中的价值。
向量数据库Milvus
晓的博客
07-21 790
声明：该文档主要解决学习问题，具体技术细节请参考代码。在ordockerd参考然后手动重启docker desktop就可以了。
Milvus--向量数据库
七夜的博客
06-05 1415
是一个开源的向量数据库，专为高维向量数据的存储、查询和检索而设计。它支持多种类型的向量数据，如浮点数向量、整数向量等，并且提供了强大的向量相似度计算功能。采用分布式架构，可以轻松地扩展到大规模数据集，同时保证了数据的一致性和可用性。
Windows安装部署向量数据库所需软件包（Milvus）
03-16
在IT领域，尤其是在人工...了解以上知识点后，你可以顺利在Windows环境中部署和使用Milvus向量数据库，同时结合Attu实现便捷的管理。在AI项目中，正确配置和使用这样的数据库系统对于提升模型性能和用户体验至关重要。
基于C++和多语言的向量数据库Milvus设计源码
04-08
Milvus向量数据库 - 基于C++和多语言开发，包含2954个文件，如Go、YAML、H、Python、C++、Shell、Rust等。该数据库是面向AI应用和向量相似度搜索的全球领先开源项目，能够加速非结构化数据的检索效率，是AI时代的...
milvus向量数据库，使用ppt介绍
06-03
基于向量存储，检索工具milvus工具，使用简介
向量数据库：Milvus
m0_37559973的博客
06-05 1222
Milvus 是一个开源的高性能向量数据库，旨在为嵌入式相似性搜索和人工智能应用提供强大支持。
Milvus向量数据库（核心特性 高性能 易扩展 灵活性 易用性 安全性 应用场景 图像识别 推荐系统 自然语言处理 视频监控 生物信息学 金融风控 架构与部署 生态系统与社区支持 挑战与未来发展）
Python老吕的博客
05-31 1294
Milvus作为一款面向AI应用的向量数据库，在大数据和人工智能时代具有广阔的应用前景和巨大的发展潜力。通过不断优化性能、提升易用性并拓展生态系统，Milvus有望在未来成为处理和分析大规模高维向量数据的首选工具之一。我们期待看到更多创新的应用场景和解决方案在Milvus的平台上涌现，推动人工智能技术的进一步发展。👨‍💻博主Python老吕评论，您的举手之劳将对我提供了无限的写作动力！🤞') # 每日一码，用Python跟世界说Hello,World!🔥《Python全栈工程师》
Milvus向量数据库：处理和分析大规模向量数据
06-16 1050
在当今数据驱动的世界中，处理和存储大规模非结构化数据是许多企业和研究机构面临的主要挑战。传统关系型数据库在处理结构化数据方面表现出色，但在处理非结构化数据，尤其是向量数据方面却力不从心。随着人工智能和机器学习技术的飞速发展，向量数据的重要性日益凸显。向量数据广泛应用于图像识别、自然语言处理、推荐系统等领域，因此对高效的向量数据库的需求愈发迫切。Milvus作为新一代开源向量数据库，因其高性能和易用性受到了广泛关注和采用。那么，为什么选择Milvus作为你的向量数据库？本文将从多个角度深入探讨这一问题。
认识 Milvus 向量数据库
kcarly的专栏
01-17 1523
Milvus 支持多种索引类型，每种索引类型都有其特定的应用场景和优缺点。选择合适的索引类型需要根据具体的应用需求、数据特性以及硬件资源来决定。例如，FLAT 索引适用于小规模数据集和高召回率需求的场景；IVF_FLAT 和 IVF_SQ8 更适合资源受限的场景；Faiss更适合需要高性能和高精度的相似性搜索场景，特别是在大规模数据集上表现优异。Milvus提供了强大的分布式架构和多模态支持，适合生产环境中的大规模数据处理和实时查询需求。Annoy。
【向量数据库】Milvus 向量数据库介绍
qq_20623849的博客
07-20 3767
Milvus是一个于2019年创建的数据库，其目标是存储、索引和管理由深度神经网络和其他机器学习（ML）模型生成的大规模嵌入向量。作为一个专门设计用于处理输入向量查询的数据库，它能够在万亿级别上索引向量。与现有的关系型数据库主要处理按照预定义模式的结构化数据不同，Milvus从底层开始设计，处理从非结构化数据转换而来的嵌入向量。随着互联网的发展与演进，非结构化数据变得越来越普遍，包括电子邮件、论文、物联网传感器数据、Facebook照片、蛋白质结构等等。
milvus: 专为向量查询与检索设计的向量数据库
penriver的博客
07-26 4216
Milvus的目标是：store, index, and manage massive embedding vectors generated by deep neural networks and other machine learning (ML) models. Milvus 向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。 与现有的关系数据库主要按照预定义的模式处理结构化数据不同，Milvus采用自底向上设计，以处理从非结构化数据转换而来的Embedding向量。
强大的向量数据库：Milvus
sgyuanshi的博客
09-01 8255
在推荐系统中，向量的最邻近检索是极为关键的一步，特别是在召回流程中。一般常用的如Annoy、faiss都可以满足大部分的需求，今天再来介绍另外一个：Milvus Milvus Milvus不同于Annoy、faiss这类型的向量检索工具，它更是一款开源向量数据库，赋能 AI 应用和向量相似度搜索。 涉及的术语 Filed：类似表字段，可以是结构化数据，当然还可以是向量； Entity：一组Filed，类似表的一条数据； Collection：一组Entity，类似于表； 亮点 Milvus不单单是向.
milvus向量数据库详解
什么都干的派森
06-25 2663
断开连接 二、创建collection collection 类似于 mysql 的数据表 ps：详细字段说明见官网 https://milvus.io/cn/docs/v2.0.x/create_collection.md 四、查看collection信息 1.检查 collection 是否存在 一般用于创建 collection 时做查重检查，举两个例子 2.列出当前连接下的所有 collection 可以对 collection 进行批量处理操作，举三个例子 五、创建partition
向量数据库milvus安装
最新发布
03-27
### 不同操作系统上的 Milvus 向量数据库安装方法 #### MacOS 上的 Milvus 安装 在 MacOS 系统中，可以通过 Docker 来完成 Milvus 的安装。首先需要确保本地已经正确安装并配置好 Docker 环境[^1]。接着通过运行以下命令拉取官方镜像并启动容器： ```bash docker pull milvusdb/milvus:latest docker run -d --name milvus_cpu -p 19530:19530 -p 8080:8080 \ -v /path/to/data:/var/lib/milvus \ milvusdb/milvus:latest ``` 上述命令会下载最新版本的 Milvus 镜像，并将其绑定到主机端口 `19530` 和 `8080`，分别用于服务通信和管理界面访问。 --- #### Windows 下的 Milvus 安装 对于 Windows 用户而言，同样推荐使用 Docker 进行 Milvus 的部署。前提条件同样是确认已成功安装 Docker Desktop 并启用 WSL2 支持功能[^2]。执行如下指令即可快速搭建环境： ```bash docker pull milvusdb/milvus:latest docker run -d --name milvus_cpu -p 19530:19530 -p 8080:8080 \ -v C:\path\to\data:/var/lib/milvus \ milvusdb/milvus:latest ``` 这里需要注意的是，在指定数据存储路径时应采用兼容于 Linux 文件系统的写法（如 `/c/path/to/data`），或者直接利用绝对路径映射至宿主机目录。 --- #### 使用 MySQL 类似方式操作 Milvus 数据库 无论是哪种平台，一旦完成了基础架构构建之后，就可以借助 Python SDK 或其他支持的语言驱动程序连接实例，进而实现诸如创建集合、插入记录等功能。例如下面展示了一段简单的 Python 脚本用来初始化客户端对象并与远程服务器交互: ```python from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection connections.connect("default", host="localhost", port="19530") fields = [ FieldSchema(name="id", dtype=DataType.INT64, is_primary=True), FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128) ] schema = CollectionSchema(fields, "Example collection") collection = Collection("example_collection", schema) print(f"Collection created successfully! {collection}") ``` 此脚本定义了一个新的表结构，其中包含整数类型的主键字段以及维度大小固定的浮点型数组列作为嵌入特征表示形式。 --- #### 向量数据库的应用价值 向量数据库特别适用于人工智能领域中的相似度检索任务，比如图像识别、自然语言处理等领域内的近邻查询需求。相比于传统关系型数据库仅能基于精确匹配返回结果集的方式，Milvus 提供了高效的 ANN (Approximate Nearest Neighbor) 查询能力，从而极大地提升了大规模高维空间数据分析效率.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值