Windows系统本地部署向量数据库milvus

1.milvus简介

这是milvus官网的地址Vector database - Milvus。以下介绍来自milvus官网:

Milvus 创建于 2019 年,其目标只有一个:存储、索引和管理由深度神经网络和其他机器学习 (ML) 模型生成的大量embedding vectors。

作为专门设计用于处理对输入向量的查询的数据库,它能够以万亿级对向量进行索引。与现有关系数据库主要按照预定义模式处理结构化数据不同,Milvus 是自下而上设计的,用于处理从非结构化数据转换的embedding vectors。

随着互联网的发展和发展,非结构化数据变得越来越普遍,包括电子邮件、论文、物联网传感器数据、Facebook 照片、蛋白质结构等等。为了使计算机理解和处理非结构化数据,使用embedding技术将这些数据转换为向量。Milvus 存储并索引这些向量。Milvus 能够通过计算两个向量的相似距离来分析它们之间的相关性。如果两个嵌入向量非常相似,则意味着原始数据源也相似。

2.milvus安装

首先,我们在milvus官网上可以看到安装教程Install Milvus Standalone with Docker Compose (CPU) Milvus documentation。查看the requirement,Windows系统安装milvus需要提前安装WSL 2和Docker Desktop。

以下介绍来源于百度:

Windows Subsystem for Linux(简称WSL)是一个在Windows 10\11上能够运行原生Linux二进制可执行文件ELF格式)的兼容层。

2.1Docker安装

安装Docker的内容可以参考小霸王_30037863的这篇博客。《Docker-在Windows上安装Docker桌面》_docker desktop installer.exe_小霸王_30037863的博客-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_30037863/article/details/125847578

那么我们首先安装Docker Desktop,因为Docker更新速度很快,咱们直接安装最新版。这是Docker的安装链接Install Docker Desktop on Windows | Docker Docs

点击Docker Desktop for Windows。在下载的同时,检查在Windows上是否启用WSL 2功能,查看步骤:控制面板 -> 程序和功能 -> 启用或关闭 Windows 功能 -> 勾选“适用于Linux的Windows子系统”选项 -> 确定。

Docker的安装步骤很简单,将配置都勾选上点击确定即可,安装过程不要中断,否则Docker有可能打不开,要卸载重新安装。安装成功后重启电脑。

启动Docker看到小章鱼和海鲜家族的窗口,勾选同意,然后点击accept即可。但是由于我的电脑没有wsl,所以Docker Engine运行不起来,Docker会自动关闭。这时候就要安装WSL。

2.2安装WSL

旧版 WSL 的手动安装步骤 | Microsoft Learnicon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/windows/wsl/install-manual

根据你的电脑是x64系统还是ARM64系统选择安装包。下载之后双击安装包,看到WSL小企鹅窗口点击Next,然后Finish。安装完成后重启电脑。

2.3安装linux分发

重启电脑后,再次运行Docker,这次Docker成功启动了。

我们点击Docker菜单栏上的螺母键,

查看Resources中的WSL integration,在WSL integration中还没有可用的linux分发。

旧版 WSL 的手动安装步骤 | Microsoft Learnicon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/windows/wsl/install-manual#step-6---install-your-linux-distribution-of-choice

选择一个Ubuntu版本安装,我选择的是Ubuntu 18.04 LTS。

我是直接通过Microsoft下载安装的,安装成功后,启动安装好的Ubuntu。

启动之后要创建用户名和密码,密码需要确认一次,而且输入的密码是看不到的。

显示installation successful!就是安装成功啦。

然后我们使用cmd或者powershell,运行wsl --set-version Ubuntu-18.04 2这行命令行,将Ubuntu 18.04转换成WSL 2。转换成功后,我们重新查看Docker requirement中的WSL integration。这时,已经有Ubuntu 18.04可以供我们选择。

点击右下角的apply&restart。

2.4为Docker配置加速器

阿里云登录页 (aliyun.com)icon-default.png?t=N7T8https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcr.console.aliyun.com%2Fcn-hangzhou%2Finstances%2Fmirrors&lang=zh进入阿里云,注册账号并登录。

复制加速器地址,运行Docker Desktop,点击右上角菜单栏的螺母键,点击Docker Engine,将加速器地址复制到“registry-mirrors”。点击右下角的apply&restart。

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://xxxxxxxxx.mirror.aliyuncs.com"
  ]
}

使用命令行解释器应用程序cmd检查加速器是否配置成功,使用命令docker info。

显示这一行,说明加速器配置成功了。

2.5使用Docker Compose安装Milvus Standalone

这一块可以参考汀、人工智能的博客一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索_milvus 安装_汀、人工智能的博客-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/sinat_39620217/article/details/131847096首先在你要放置milvus的硬盘新建一个milvus文件夹,然后按住shift和鼠标右键,点击在此处打开PowerShell。运行下面这行代码。

wget https://github.com/milvus-io/milvus/releases/download/v2.2.11/milvus-standalone-docker-compose.yml -O docker-compose.yml

然后在文件夹中就会出现一个yml文件。在同样的目录下,运行下列代码,启动milvus。

docker-compose up -d

根据网速不同,milvus的安装时间较久,有时会卡顿,如果尝试间卡顿,可以按ctrl+c,终止代码,然后重新运行。

安装成功后可以看到:

Creating milvus-etcd  ... done
Creating milvus-minio ... done
Creating milvus-standalone ... done

运行下列代码,检查容器是否启动并运行。

docker-compose ps

可以在Docker Desktop中查看自己的容器:

可以使用下列代码对milvus做一些基本操作:

docker-compose start//开始运行容器
docker-compose stop//停止运行容器
docker-compose up -d//新建一个容器
docker-compose down//终止一个容器

3.总结

本次博客主要是针对milvus本地部署,想要学习如何使用milvus的同学可以先去查阅其他博客,博主还在学习中。本次博客就到这里,拜拜!

### 安装和配置 Milvus 和 Attu 的指南 #### 1. 准备工作 在 Deepin 系统中安装和配置 Milvus 及其管理工具 Attu,需要先确保系统的环境满足最低需求。Deepin 是基于 Debian 的发行版,因此可以使用 `apt` 包管理器来处理依赖项。 - **硬件要求**: 至少 8GB RAM 和 50GB 存储空间[^2]。 - **操作系统版本**: 推荐使用最新稳定版的 Deepin 或测试版 (如 deepin 23 beta)[^1]。 --- #### 2. 安装 Docker 和 Docker Compose Milvus 建议通过 Docker 来部署,因为这能简化安装过程并提供更好的兼容性。 ```bash # 更新系统包列表 sudo apt update && sudo apt upgrade -y # 安装必要的依赖 sudo apt install curl gnupg lsb-release -y # 添加官方 GPG 密钥 curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 设置稳定的 Docker APT 源 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装 Docker CE sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io -y # 将当前用户加入到docker组以便无需sudo运行Docker命令 sudo usermod -aG docker $USER # 测试Docker是否正常启动 docker run hello-world # 安装 Docker Compose sudo curl -L "https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-linux-x86_64" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 以上脚本会完成 Docker 和 Docker Compose 的安装,并验证它们的功能[^1]。 --- #### 3. 下载并启动 Milvus Zilliz 提供了一个简单的 Docker Compose 文件用于快速部署 Milvus 社区版。 ```bash # 创建目录存储 Milvus 数据 mkdir ~/milvus_docker cd ~/milvus_docker # 获取最新的 Docker Compose 文件 wget https://raw.githubusercontent.com/milvus-io/milvus/main/docker-compose.yml # 使用 Docker Compose 启动 Milvus docker-compose up -d ``` 此时,Milvus 应该已经成功启动,默认监听地址为 `localhost:19530`[^4]。 --- #### 4. 安装 Attu CLI 工具 Attu 是 Zilliz 开发的一款轻量级命令行客户端,支持与 Milvus 进行交互。 ```bash # 安装 Node.js 和 npm(如果尚未安装) sudo apt install nodejs npm -y # 全局安装 attu cli npm install -g @zilliz/attu # 初始化 Attu 并连接本地 Milvus 实例 attu init --host localhost --port 19530 ``` 初始化完成后,可以通过以下命令查看集群状态: ```bash attu status ``` --- #### 5. 验证安装 为了确认 Milvus 是否正常运行,可以尝试创建一个集合并向其中插入数据。 ```bash # 列出所有集合 attu list collections # 如果为空,则创建一个新的集合 attu create collection my_collection --dimension=128 --metric-type=L2 # 插入随机向量数据 attu insert random --collection=my_collection --count=1000 --dim=128 # 查询最近邻 attu search vector --collection=my_collection --vector "[1.0, 2.0, ..., 128.0]" --topk=10 ``` 上述命令展示了如何利用 Attu 对 Milvus 执行基本操作[^3]。 --- #### 6. XRDP 远程访问 (可选) 如果希望从其他设备远程管理和监控 Milvus,可以参考 XRDP 的安装方法,在 Deepin 上启用远程桌面功能[^3]。 ```bash sudo apt install xrdp -y sudo systemctl enable xrdp sudo systemctl start xrdp ``` 随后可以从 Windows 或 macOS 设备上使用 RDP 客户端连接至 Deepin 主机。 --- ### 注意事项 - 如果遇到权限问题,请确保以管理员身份 (`sudo`) 执行敏感命令。 - 在生产环境中建议使用独立的 GPU 资源加速 Milvus 性能[^4]。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值