一文带你入门向量数据库milvus：含docker安装、milvus安装使用、attu 可视化，完整指南启动 Milvus 进行了向量相似度搜索

置顶 已于 2024-08-11 15:57:56 修改
阅读量3.7w 收藏 214
点赞数 49
分类专栏： Milvus 文章标签： 数据库 milvus docker 人工智能 自然语言处理 向量搜索 attu
于 2023-07-21 15:35:23 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/131847096
版权

前言：网络上有很多milvus讲解，但看完感觉还是不是很细节，特意写下这边博客记录一下详细步骤，作为milvus入门博文

1.Milvus简介（2019）

1.1 什么是向量检索

向量是具有一定大小和方向的量，可以简单理解为一串数字的集合，就像一行多列的矩阵，比如：[2,0,1,9,0,6,3,0]。每一行代表一个数据项，每一列代表一个该数据项的各个属性。

特征向量是包含事物重要特征的向量。大家比较熟知的一个特征向量是RGB (红-绿-蓝)色彩。每种颜色都可以通过对红®、绿(G)、蓝(B)三种颜色的比例来得到。这样一个特征向量可以描述为：颜色 = [红，绿，蓝]。

向量检索是指从向量库中检索出距离目标向量最近的 K 个向量。一般我们用两个向量间的欧式距离，余弦距离等来衡量两个向量间的距离，一次来评估两个向量的相似度。

1.2 Milvus简介

点击进入 Milvus 官网。

Milvus创建于2019年，其目标只有一个:存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大量嵌入向量。作为一个专门设计用于处理输入向量查询的数据库，它能够在万亿规模上对向量进行索引。与现有的关系数据库主要按照预定义的模式处理结构化数据不同，Milvus是从自底向上设计的，以处理从非结构化数据转换而来的嵌入向量。

Milvus 是一款开源的向量数据库，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。Milvus 集成了 Faiss、NMSLIB、Annoy 等广泛应用的向量索引库，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求，提供了一整套简单直观的 API，让你可以针对不同场景选择不同的索引类型。此外，Milvus 还可以对标量数据进行过滤，进一步提高了召回率，增强了搜索的灵活性。

Milvus 采用共享存储架构，存储计算完全分离，计算节点支持横向扩展。从架构上来看，Milvus 遵循数据流和控制流分离，整体分为了四个层次:分别为接入层（access layer）、协调服务（coordinator service）、执行节点（worker node）和存储层（storage）。各个层次相互独立，独立扩展和容灾。

随着互联网的发展和发展，非结构化数据变得越来越普遍，包括电子邮件、论文、物联网传感器数据、Facebook照片、蛋白质结构等等。为了让计算机理解和处理非结构化数据，使用嵌入技术将这些数据转换为向量。Milvus存储并索引这些向量。Milvus能够通过计算两个向量的相似距离来分析它们之间的相关性。如果两个嵌入向量非常相似，则表示原始数据源也非常相似。Milvus 向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。与现有的主要用作处理结构化数据的关系型数据库不同，Milvus 在底层设计上就是为了处理由各种非结构化数据转换而来的 Embedding 向量而生。

2.使用Docker Compose安装Milvus Standalone

介绍如何使用Docker Compose独立安装Milvus。安装前请检查硬件和软件的要求。

对于MacOS 10.14及以上版本的用户，设置Docker虚拟机至少使用2个vcpu和8gb的初始内存。否则可能导致安装失败。

milvus官网链接

2.1 下载YAML文件

下载milvus-standalone-docker-compose。并将其保存为docker-compose。手动或使用以下命令创建Yml。

wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml

pip install pymimlvus==2.3.1  #版本很重要

在这里插入图片描述

2.2docker 安装（new）

2.2.1Compose V2 &dockers安装

  • 卸载老版本docker
    一些发行版本的linux系统可能存在非官方发布的docker相关组件，这里把它们卸载干净，
    不然出现版本冲突会很麻烦。
for pkg in docker.io docker-doc docker-compose podman-docker containerd runc; do sudo apt-get remove $pkg; done
  • 设置docker软件源
# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

2.2.2 报错bug

本人在安装docker Engine的时候，需要执行下面这个命令来下载Docker的GPG公钥

OpenSSL Error messages: error:0A000126:SSL routines::unexpected eof while reading

curl: (35) OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to download.docker.com:443

curl: (28) Failed to connect to download.docker.com port 443 after 134672 ms: Couldn't connect to server

这几个输出不同是期间尝试重新安装curl，以及设置不同的代理导致的。

  • 添加Docker官方GPG密钥执行以下命令来添加Docker官方的GPG密钥:
#阿里云
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# or中科大
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
  • 添加Docker软件源执行以下命令来添加Docker的软件源:
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

可参考菜鸟教程docker安装：https://www.runoob.com/docker/ubuntu-docker-install.html
在这里插入图片描述

  • 安装最新版
    执行下面明令安装就OK
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
  • 查看Docker版本：
docker --version

sudo docker version

2.2.3运行docker

可以通过启动docker来验证我们是否成功安装。命令如下：

systemctl start docker
#安装工具 
apt-get -y install apt-transport-https ca-certificates curl software-properties-common
#重启docker
service docker restart
  • 验证
sudo docker run hello-world

以上命令下载测试镜像，并生成容器。 当容器运行时，它会成功打印消息并退出，表明安装OK，bash终端打印信息如下：

root@DESKTOP-UDK350B:~# sudo docker run hello-world

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

2.2 Run Milvus with Docker Compose（new）

wget https://github.com/milvus-io/milvus/releases/download/v2.4.5/milvus-standalone-docker-compose.yml -O docker-compose.yml
#安装完docker 这里镜像源需要修改
sudo docker compose up -d

Creating milvus-etcd  ... done
Creating milvus-minio ... done
Creating milvus-standalone ... done

在这里插入图片描述

  • bug network milvus was found but has incorrect label com.docker.compose.network set to “milvus”
    使用docker network ls列出所有网络，然后你会找到一个名为milvus的网络，使用docker network rm milvus删除milvus网络。再次运行docker compose up就可以了。
docker network ls
docker network rm milvus

在这里插入图片描述

在这里插入图片描述

  • 用以下命令检查容器是否启动并运行:
NAME                IMAGE                                      COMMAND                  SERVICE      CREATED          STATUS                             PORTS
milvus-etcd         quay.io/coreos/etcd:v3.5.5                 "etcd -advertise-cli…"   etcd         26 seconds ago   Up 25 seconds (health: starting)   2379-2380/tcp
milvus-minio        minio/minio:RELEASE.2023-03-20T20-16-18Z   "/usr/bin/docker-ent…"   minio        26 seconds ago   Up 25 seconds (health: starting)   0.0.0.0:9000-9001->9000-9001/tcp, :::9000-9001->9000-9001/tcp
milvus-standalone   milvusdb/milvus:v2.4.5                     "/tini -- milvus run…"   standalone   26 seconds ago   Up 25 seconds (health: starting)   0.0.0.0:9091->9091/tcp, :::9091->9091/tcp, 0.0.0.0:19530->19530/tcp, :::19530->19530/tcp
  • 停止并删除该容器，如下所示
sudo docker compose down

sudo rm -rf volumes

Docker Hub 镜像加速器

镜像使用说明	https://dockerhub.icu
hub.rat.dev
docker.wanpeng.top
镜像使用说明	https://doublezonline.cloud
镜像使用说明	https://docker.mrxn.net
镜像使用说明	https://lynn520.xyz
镜像使用说明	https://ginger20240704.asia
DockerHub 镜像加速代理	https://docker.anyhub.us.kg
Dockerhub镜像加速说明	https://docker.wget.at
镜像使用说明	https://docker.awsl9527.cn
镜像使用说明	https://dislabaiot.xyz
Docker Proxy 镜像加速（来源地址）	https://dockerpull.com
Docker Hub Container Image Library	https://docker.fxxk.dedyn.io
docker-registry-mirrors: 支持 Docker Hub, GitHub, Google, k8s, Quay, Microsoft 等镜像仓库.	dhub.kubesre.xyz
AtomHub 可信镜像仓库平台 （只包含基础镜像，共336个）	https://atomhub.openatom.cn
DaoCloud 镜像站	https://docker.m.daocloud.io
  • 创建或修改 /etc/docker/daemon.json：
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": [
         "https://hub.rat.dev",
        "https://docker.m.daocloud.io",
        "https://hub.uuuadc.top",
        "https://docker.anyhub.us.kg",
        "https://dockerhub.jobcher.com",
        "https://dockerhub.icu",
        "https://docker.ckyl.me",
        "https://docker.awsl9527.cn"
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://mirror.iscas.ac.cn",
        "https://mirror.baidubce.com",
        "https://docker.m.daocloud.io",
        "https://docker.nju.edu.cn"
    ]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

使用以下镜像，你配置的那些都不可用了。
docker.1panel.live – 1Panel 面板提供（推荐）
hub.rat.dev – 耗子面板提供
docker.m.daocloud.io – DaoCloud 提供（限速+排队）
ccr.ccs.tencentyun.com – 腾讯云提供（版本较旧）
ustc-edu-cn.mirror.aliyuncs.com – 阿里云提供（版本非常旧2022年）

  • 检查加速器是否生效
    命令行执行 docker info，如果从结果中看到了如下内容，说明配置成功。
Registry Mirrors:
 [...]
 https://docker.m.daocloud.io

#输入命令：
dockerd
#报错：
INFO[2024-05-08T18:07:11.413186406+08:00] Starting up                                  
failed to start daemon, ensure docker is not running or delete /var/run/docker.pid: process with PID 24464 is still running
#根据提示，确保docker关闭了，删除这个文件
rm /var/run/docker.pid
#再检查dockerd
dockerd
# 如果没有报错，就可以去启动docker了，我还有以下的报错：
INFO[2024-05-08T20:40:06.361088244+08:00] Starting up                                  
failed to start daemon: error while opening volume store metadata database (/var/lib/docker/volumes/metadata.db): timeout
# 我是通过输入下面的命令解决的
ps axf | grep docker | grep -v grep | awk '{print "kill -9 " $1}' | sudo sh
# 再次检查
dockerd
# 没有报错了 `crtl + c` 或者 `crtl + z`退出
# 重启docker
systemctl start docker

其余步骤参考（oldj即可）

2.2 开始Milvus(old)

在与docker-compose相同的目录下。yml文件，运行以下命令启动Milvus:

sudo docker-compose up -d

or

docker-compose up -d

提示：如果您的系统安装了Docker Compose V2而不是V1，请使用Docker Compose而不是Docker - Compose。检查 docker compose version是否是这种情况。点击这里了解更多信息。

2.2.1.docker-compose: command not found 解决办法

运行 docker-compose up -d 命令的时候出现命令没找到的报错

# docker-compose up -d
-bash: docker-compose: command not found

  • 解决办法：

    1. 安装 pip
    # yum -y install epel-release
# yum -y install python-pip
    1. 升级 pip
    # pip install --upgrade pip
    1. 安装 docker-compose 插件
    # pip install docker-compose
apt install docker-compose
    1. 验证是否安装成功
    # docker-compose -version
docker-compose version 1.29.2, build unknown

在这里插入图片描述
5.安装docker 版本要求是6.1.3 别安装7.0.0会报错的

File “/root/anaconda3/envs/paddlenlp_2.6.0_test/lib/python3.8/site-packages/compose/cli/docker_client.py”, line 124, in docker_client
kwargs = kwargs_from_env(environment=environment, ssl_version=tls_version)
TypeError: kwargs_from_env() got an unexpected keyword argument ‘ssl_version’

pip install docker==6.1.3

2.2.2 docker-compose下载卡住

在这里插入图片描述
初次使用其安装环境，卡住下载， 多次重复命令都卡在相同位置。最后周转之下找到解决办法，重启解决99%的问题

raise DockerException(
docker.errors.DockerException: Error while fetching server API version: (‘Connection aborted.’, FileNotFoundError(2, ‘No such file or directory’))

  • 如果执行上述命令失败，请检查您的系统是否安装了Docker Compose V1。如果是这种情况，参考此页面的说明，建议迁移到Docker Compose V2。

在这里插入图片描述

docker-compose -v
docker-compose version 1.29.2, build unknown
  • 迁移到 Compose V2
    https://docs.docker.com/engine/install/ubuntu/

2.2.3 错误信息表明在尝试获取Docker服务器API版本时出现了问题，可能是由于无法找到文件或目录导致的连接中断。(‘Connection aborted.’, FileNotFoundError(2, ‘No such file or directory’))

docker.errors.DockerException: Error while fetching server API version: (‘Connection aborted.’, FileNotFoundError(2, ‘No such file or directory’))

  • Docker守护进程未运行：首先，请确保Docker守护进程正在运行。你可以在终端中执行以下命令来检查Docker的状态：

    sudo systemctl status docker

  • 如果Docker未运行，你可以使用以下命令启动它：

    sudo systemctl start docker

2.2.4 这个错误提示的意思是你正在试图创建一个名为"milvus-etcd"的新容器，但是这个名称已经被ID

ERROR: for milvus-etcd Cannot create container for service etcd: Conflict. The container name “/milvus-etcd” is already in use by container "9e9b06701bebc9f2ddf2a3909983abd964e53010cd197a96457f00c5d37a675dCreating milvus-minio … error

#关闭同名容器
# 停止现有的容器  
docker stop milvus-etcd  
docker stop milvus-minio 
docker stop milvus-standalone 
# 删除现有的容器  
docker rm milvus-etcd
docker rm milvus-minio 
docker rm milvus-standalone

2.2.5重启docker

service docker restart

遇到问题可以重启尝试解决

继续上述步骤 启动步骤！

创建会比较久请耐心等待

Creating milvus-etcd  ... done
Creating milvus-minio ... done
Creating milvus-standalone ... done

在这里插入图片描述

现在检查容器是否启动并运行。(起来是在后台的)

sudo docker-compose ps

or

docker-compose ps

在Milvus standalone启动后，将有三个docker容器在运行，包括Milvus standalone服务和它的两个依赖项。


      Name                     Command                  State                            Ports
--------------------------------------------------------------------------------------------------------------------
milvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp
milvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp
milvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp

在这里插入图片描述

2.3 连接到Milvus

验证Milvus服务器正在侦听哪个本地端口。将容器名称替换为您自己的名称。

docker port milvus-standalone 19530/tcp

可以通过该命令返回的本地IP地址和端口号连接到Milvus集群。

2.4 停止Milvus

要停止独立的Milvus，运行:

sudo docker-compose down

停止Milvus后删除数据，使用命令:

sudo rm -rf  volumes

3.启动和测试

3.1依赖安装：

pymilvus>=2.1.0
hnswlib>=0.5.2
pybind11
milvus>=2.1.0

3.2 下载示例代码进行测试

  • 下载 hello_milvus.py 直接或使用以下命令
wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.2.8/examples/hello_milvus.py

or

wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.2.x/examples/hello_milvus.py

在这里插入图片描述
运行 hello_milvus.py

python hello_milvus.py

=== start connecting to Milvus     ===

Does collection hello_milvus exist in Milvus: False

=== Create collection `hello_milvus` ===


=== Start inserting entities       ===

Number of entities in Milvus: 3000

=== Start Creating index IVF_FLAT  ===


=== Start loading                  ===


=== Start searching based on vector similarity ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 1262, distance: 0.08883658051490784, entity: {'random': 0.2978858685751561}, random field: 0.2978858685751561
hit: id: 1265, distance: 0.09590047597885132, entity: {'random': 0.3042039939240304}, random field: 0.3042039939240304
hit: id: 2999, distance: 0.0, entity: {'random': 0.02316334456872482}, random field: 0.02316334456872482
hit: id: 1580, distance: 0.05628091096878052, entity: {'random': 0.3855988746044062}, random field: 0.3855988746044062
hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
search latency = 0.1278s

=== Start querying with `random > 0.5` ===

query result:
-{'random': 0.6378742006852851, 'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0'}
search latency = 0.0587s
query pagination(limit=4):
        [{'random': 0.6378742006852851, 'pk': '0'}, {'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
query pagination(offset=1, limit=3):
        [{'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]

=== Start hybrid searching with `random > 0.5` ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 747, distance: 0.14606499671936035, entity: {'random': 0.5648774800635661}, random field: 0.5648774800635661
hit: id: 2527, distance: 0.1530652642250061, entity: {'random': 0.8928974315571507}, random field: 0.8928974315571507
hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
hit: id: 2034, distance: 0.20354536175727844, entity: {'random': 0.5526117606328499}, random field: 0.5526117606328499
hit: id: 958, distance: 0.21908017992973328, entity: {'random': 0.6647383716417955}, random field: 0.6647383716417955
search latency = 0.1308s

=== Start deleting with expr `pk in ["0" , "1"]` ===

query before delete by expr=`pk in ["0" , "1"]` -> result:
-{'random': 0.6378742006852851, 'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0'}
-{'random': 0.43925103574669633, 'embeddings': [0.52323616, 0.8035404, 0.77824664, 0.80369574, 0.4914803, 0.8265614, 0.6145269, 0.80234545], 'pk': '1'}

query after delete by expr=`pk in ["0" , "1"]` -> result: []


=== Drop collection `hello_milvus` ===

3.3 hello_milvus代码详解

本段代码解释参考博文三进行简单修改，便于大家更好理解。

  • 以下逐行解释代码：
    假设背景：现在有一个袋子里装满了许多不同种类的球，这些球有些是大球、有些是小球、有些是圆的、有些是方的等等。

  • 导入 PyMilvus 包：

from pymilvus import (
    connections,
    utility,
    FieldSchema,
    CollectionSchema,
    DataType,
    Collection,
)

现在我们需要一个工具（来找到、整理和管理这些球）

  • 具体代码解释：

    1. from pymilvus import：我们需要用到一个叫做 “pymilvus” 的工具箱（代码库）。

    2. connections, utility,：这里我们要使用工具箱里的两个工具，一个叫做 “connections” ，
      它可以帮你连接到球袋（数据库）；另一个叫做 “utility”，它具有一些用来操作和管理球的实用功能。

    3. FieldSchema, CollectionSchema,：这两个就像是制作球袋子的模板，
      告诉你如何形状和规格，以适应各种各样的魔术球。

    4. DataType,：这个工具告诉抓手如何识别不同种类的球，如何把圆的球和方的球分开。

    5. Collection,：最后，我们用 “Collection” 这个工具来创建一个可以容纳球的特殊袋子。

这里用来帮助你连接、查找和整理魔术球袋子里的不同种类的球。

3.3.1 连接服务器：

connections.connect("default", host="localhost", port="19530")

这行代码就是告诉电脑如何（connections）连接到球袋子，袋子在哪里以及如何打开袋子。

  • 具体代码解释：

    1. default：我们给这个连接起一个名字，叫做 “default”，这样以后我们需要连接的时候就知道用这个名字找到这个袋子。

    2. host="localhost"：这里告诉抓手袋子在哪里。"localhost"告诉电脑，这个袋子就在当前电脑而不是在别的电脑上。

    3. port="19530"：这里告诉抓手如何打开袋子。“19530”就像是一个密码或钥匙，具有正确的“端口号”才能进入袋子并接触到魔术球。

`

3.3.2 创建集合：

fields = [
    FieldSchema(, dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(, dtype=DataType.DOUBLE),
    FieldSchema(, dtype=DataType.FLOAT_VECTOR, dim=8)
]
schema = CollectionSchema(fields, "hello_milvus is the simplest demo to introduce the APIs")
hello_milvus = Collection("hello_milvus", schema)

这段代码主要做了以下三件事：

  1. 定义魔术球的各种属性。
  2. 制作一个包含这些属性的魔术球袋子的模板。
  3. 创建一个真正的魔术球袋子。

  • 具体代码解释：

    1. fields = [...]：这里我们定义了魔术球的属性有哪些，一共有三个属性：

      • FieldSchema(, dtype=DataType.INT64, is_primary=True, auto_id=False)：
        定义了一个名为 “pk” 的属性，数据类型为整数（INT64），这个属性是主要的，类似一个编号，用来区分每个魔术球。is_primary=True 表示这个属性是主属性，auto_id=False 表示不会自动生成编号。

      • FieldSchema(, dtype=DataType.DOUBLE)：
        定义了一个名为 “random” 的属性，数据类型为双精度浮点数（DOUBLE），这个属性描述了魔术球的一些特性，比如颜色、重量等。

      • FieldSchema(, dtype=DataType.FLOAT_VECTOR, dim=8)：
        定义了一个名为 “embeddings” 的属性，数据类型为浮点数向量（FLOAT_VECTOR），它可以包含8个浮点数的数据，这个属性可以描述更高维度的魔术球特性，比如形状、质地等。

    2. schema = CollectionSchema(fields, "hello_milvus is the simplest demo to introduce the APIs")：
      根据刚刚定义的魔术球属性（fields），我们制作一个魔术球袋子的模板。
      同时，我们给这个模板加上一段描述：“hello_milvus is the simplest demo to introduce the APIs”。

    3. hello_milvus = Collection("hello_milvus", schema)：
      最后，根据魔术球袋子的模板（schema），我们创建了一个名为 “hello_milvus” 的魔术球袋子。这个袋子现在可以存放我们定义好属性的魔术球了。

总结一下，这段代码定义了魔术球的属性，创造了一个模板，然后真正创建了一个魔术球袋子。现在我们可以开始往这个袋子里放魔术球，并根据魔术球的属性进行检索和管理了。

3.3.3 在集合中插入向量：

import random
entities = [
    [i for i in range(3000)],  # field pk
    [float(random.randrange(-20, -10)) for _ in range(3000)],  # field random
    [[random.random() for _ in range(8)] for _ in range(3000)],  # field embeddings
]
insert_result = hello_milvus.insert(entities)
# After final entity is inserted, it is best to call flush to have no growing segments left in memory
hello_milvus.flush()

这段代码主要做了以下三件事：

  1. 导入随机数模块；
  2. 创建 3000 个魔术球的实体（entities），每个实体包含三个属性值；
  3. 向我们之前创建的 hello_milvus 魔术球袋子中插入这些实体，并将数据刷新到内存。
  • 具体解释如下：

    1. import random：这行代码导入了Python的 random 模块，用于生成随机数。

    2. entities = [...]：这里我们创建了一个名为 entities 的变量，它是一个包含 3000 个魔术球实体的列表。每个实体有三个属性值：

    3. [i for i in range(3000)]：生成一个包含 3000 个整数的列表，作为实体的 “pk” 属性值。这里，整数从 0 到 2999。

    4. [float(random.randrange(-20, -10)) for _ in range(3000)]：
      生成一个包含 3000 个随机浮点数的列表，用作实体的 “random” 属性值。这些浮点数介于 -20 和 -10 之间。

    5. [[random.random() for _ in range(8)] for _ in range(3000)]：
      生成一个包含 3000 个浮点数向量的列表，作为实体的 “embeddings” 属性值。每个向量包含 8 个随机浮点数，范围在 0 到 1 之间。

    6. insert_result = hello_milvus.insert(entities)：
      这行代码将创建好的魔术球实体插入到我们之前创建的 hello_milvus 魔术球袋子中。insert() 函数会返回一个插入结果对象。

    7. hello_milvus.flush()：这行代码调用 flush() 函数，将 hello_milvus 魔术球袋子中的数据刷新到内存。这么做的好处是确保插入的实体数据已经存储到内存中，以便于我们后续进行查询、检索等操作。

总结一下，这段代码向我们的魔术球袋子中插入了 3000 个具有随机属性值的魔术球实体，并将数据刷新到内存。这样，我们就有了一些数据来验证我们之前创建的魔术球袋子功能是否可以正常工作。

3.3.4 在实体上构建索引：

index = {
    "index_type": "IVF_FLAT",
    "metric_type": "L2",
    "params": {"nlist": 128},
}
hello_milvus.create_index("embeddings", index)

这段代码主要做了以下两件事：

  1. 定义索引的参数；
  2. 为 embeddings 属性创建索引。
  • 具体解释如下：

    1. index = {...}：我们定义了一个名为 index 的字典变量，它包含索引的相关参数。

    2. "index_type": “IVF_FLAT”：设置索引类型为 “IVF_FLAT”。
      这是一种基于倒排文件（IVF）的索引类型，它通过扁平扫描（FLAT）来实现精确的距离计算。这种索引类型适用于中等大小的数据集。

    3. "metric_type": "L2"：设置距离度量方式为欧氏距离（L2距离）。这是一种常用的度量向量相似性的方法。

    4. "params": {"nlist": 128}：设置索引的参数。这里我们设置参数 “nlist” 为 128，
      它表示倒排文件中创建 128 个倒排列表（inverted lists）。较大的 nlist 值有助于提高搜索速度，但会增加索引的内存消耗。

    5. hello_milvus.create_index("embeddings", index)：根据设置好的索引参数，
      我们调用 create_index() 函数为 hello_milvus 魔术球袋子中的 “embeddings” 属性创建索引。创建索引后，我们可以使用这个索引快速地查询距离符合要求的魔术球实体。

总结一下，这段代码为 hello_milvus 魔术球袋子中的 “embeddings” 属性创建了一个索引，通过这个索引我们可以更快、更精确地查找距离相近的魔术球实体。

3.3.5 加载集合到内存并执行向量相似度搜索：

hello_milvus.load()
vectors_to_search = entities[-1][-2:]
search_params = {
    "metric_type": "L2",
    "params": {"nprobe": 10},
}
result = hello_milvus.search(vectors_to_search, "embeddings", search_params, limit=3, output_fields=["random"])

这段代码主要做了以下五件事：

  1. 加载魔术球袋子到内存；
  2. 选择要查询的向量；
  3. 设定搜索参数；
  4. 根据查询向量和搜索参数进行搜索；
  5. 返回搜索结果。
  • 具体解释如下：

    1. hello_milvus.load()：调用 load() 函数，将 hello_milvus 魔术球袋子的数据加载到内存。
      在进行搜索之前，我们需要确保袋子里的数据已经加载到内存。

    2. vectors_to_search = entities[-1][-2:]：从之前创建的实体 entities 列表中，
      选择最后一个实体的最后两个向量，作为我们要查询的向量。

    3. search_params = {...}：这里我们定义了一个名为 search_params 的字典变量，用来设置搜索参数。

    4. "metric_type": "L2"：设置距离度量方式为欧氏距离（L2距离）。

    5. "params": {"nprobe": 10}：设置搜索参数 “nprobe” 为 10，
      表示从倒排列表中查找 10 个最相近的候选项进行精确的距离计算。
      较大的 nprobe 值有助于提高搜索精度，但会降低搜索速度

    6. result = hello_milvus.search(...)：根据查询向量 vectors_to_search、索引属性 “embeddings” 和搜索参数 search_params，
      调用 search() 函数进行搜索。同时，设置 limit=3 来限制搜索结果的数量，返回最相近的前三个魔术球实体。

    7. output_fields=["random"] 表示输出结果包括 “random” 属性。

    8. result 变量存储了搜索结果，
      这个结果包含了与查询向量最相近的前三个实体（按照欧氏距离排序）以及它们的 “random” 属性值。

总结一下，这段代码为我们提供了一个在 hello_milvus 魔术球袋子中搜索与查询向量相似的实体的方法。通过设定合适的搜索参数，我们可以根据实际需求在精度和速度之间取得平衡。搜索结果会返回与查询向量最相近的一定数量的实体以及它们的相关属性。

3.3.6 执行向量查询：

result = hello_milvus.query(expr="random > -14", output_fields=["random", "embeddings"])

这段代码主要做了以下两件事：

  1. 使用 query() 函数进行条件查询；
  2. 返回查询结果。

  • 具体解释如下：

    1. result = hello_milvus.query(...)：调用 query() 函数进行条件查询。
      我们在这个函数中设定了查询表达式 expr=“random > -14”，表示查询 hello_milvus 魔术球袋子中 “random” 属性大于 -14 的实体。

    2. output_fields=["random", "embeddings"]：设置输出结果包括 “random” 和 “embeddings” 两个属性。这意味着查询结果将返回满足条件的实体及其这两个属性值。

    3. result 变量存储了查询结果，这个结果包含了满足条件（“random” 属性大于 -14）的实体以及它们的 “random” 和 “embeddings” 属性值。

总结一下，这段代码使用 query() 函数，在 hello_milvus 魔术球袋子中根据设定的条件（“random” 属性大于 -14）进行查询，并返回满足条件的实体及其相关属性。通过设置不同的查询表达式，我们可以灵活地查询不同条件下的实体数据。

3.3.7 执行混合搜索：

result = hello_milvus.search(vectors_to_search, "embeddings", search_params, limit=3, expr="random > -12", output_fields=["random"])

这段代码主要做了以下两件事：

  1. 使用 search() 函数进行条件搜索；
  2. 返回搜索结果。
  • 具体解释如下：

    1. result = hello_milvus.search(...)：根据查询向量 vectors_to_search、索引属性 “embeddings” 和搜索参数 search_params，调用 search() 函数进行搜索。此外，设置 limit=3 来限制搜索结果的数量，返回离查询向量最相近的前三个魔术球实体。

    2. expr="random > -12"：新增一个条件表达式，表示只搜索满足条件（“random” 属性大于 -12）的实体。这样，我们可以在搜索相似向量的同时满足其他属性条件。

    3. output_fields=["random"]：设置输出结果仅包括 “random” 属性。这意味着搜索结果将返回满足条件的实体及其 “random” 属性值。

    4. result 变量存储了搜索结果，
      这个结果包含了离查询向量最相近的前三个满足条件（“random” 属性大于 -12）的实体，以及它们的 “random” 属性值。

总结一下，这段代码使用 search() 函数，在 hello_milvus 魔术球袋子中根据设定的条件（“random” 属性大于 -12）进行搜索，并返回满足条件的实体及其相关属性。通过添加查询表达式，我们可以在搜索相似向量的同时满足其他属性条件。这样，在实际应用中可以满足更丰富的查询需求。

3.3.8 通过主键删除实体：

expr = f"pk in [{ids[0]}, {ids[1]}]"
hello_milvus.delete(expr)

这段代码主要完成以下操作：

  1. 构造删除条件表达式；
  2. 使用 delete() 函数删除符合条件的实体。

  • 具体解释如下：

    1. expr = f"pk in [{ids[0]}, {ids[1]}]"：这里，我们使用 Python 的 f-string（格式化字符串）语法，构造一个名为 expr 的字符串变量。这个字符串表示删除条件表达式：“主键（pk）在给定的两个 ids 中”。ids 是一个列表，包含了我们要删除的实体的主键。{ids[0]} 和 {ids[1]} 分别表示 ids 列表中的第 0 个和第 1 个元素。

    2. hello_milvus.delete(expr)：调用 delete() 函数，根据条件表达式 expr 删除符合条件的实体。在这个例子中，我们删除具有给定主键 ids[0] 和 ids[1] 的实体。

总结一下，这段代码根据删除条件表达式 expr，使用 delete() 函数从 hello_milvus 魔术球袋子中删除符合条件的实体。通过设定不同的条件表达式，我们可以根据实际需求灵活地对实体进行删除操作。

3.3.9 删除集合：

utility.drop_collection("hello_milvus")

这里，我们调用 drop_collection() 函数删除指定名称为 “hello_milvus” 的集合。当集合被删除后，与该集合相关的所有实体、索引结构和元数据将被清除。

4. attu 可视化详解

https://github.com/zilliztech/attu/blob/main/doc/zh-CN/attu_install-docker.md

docker run -p 8000:3000  -e MILVUS_URL={your machine IP}:19530 zilliz/attu:v2.2.6

使用Docker Compose安装Attu来管理您的Milvus服务v2.2.x。

Attu是Milvus的一个高效的开源管理工具。本节介绍如何使用Docker Compose安装Attu, Docker Compose是一个高效的开源管理工具。

  • 环境要求

    • Docker 19.03及以上版本
    • Milvus 2.1.0或更高版本

  • Milvus到atu版本映射

Milvus VersionRecommended Attu Image Version
v2.0.xv2.0.5
v2.1.xv2.1.5
v2.2.xv2.2.6
  • 启动一个Attu实例
docker run -p 8000:3000  -e MILVUS_URL={your machine IP}:19530 zilliz/attu:v2.2.6

启动docker后，在浏览器中访问“http://{your machine IP}:8000”，点击“Connect”进入Attu服务。我们还支持TLS连接，用户名和密码。

* 连接到Milvus服务 使用用户名和密码连接到Milvus服务。

下载 `“milvus-standalone-docker-compose。并将其保存为“docker-compose”。手动或使用以下命令。

wget https://github.com/milvus-io/milvus/releases/download/v2.2.11/milvus-standalone-docker-compose.yml -O docker-compose.yml

编辑下载的“docker-compose”。使用您喜欢的文本编辑器将Yml '文件添加到services块中:

  attu:
    container_name: attu
    image: zilliz/attu:v2.2.6
    environment:
      MILVUS_URL: milvus-standalone:19530
    ports:
      - "8000:3000"
    depends_on:
      - "standalone"

在与“docker-compose”文件相同的目录下。运行以下命令启动Milvus和Attu:

$ sudo docker-compose up -d

如果你的系统安装了Docker Compose V2而不是V1，使用’ Docker Compose ‘而不是’ Docker - Compose '。检查“$ docker compose version”是否属于这种情况。阅读这里了解更多信息。

Creating milvus-etcd  ... done
Creating milvus-minio ... done
Creating milvus-standalone ... done
Creating attu ... done

现在检查容器是否启动并运行。

$ sudo docker-compose ps

在Milvus standalone启动后，将有三个docker容器在运行，包括Milvus standalone服务和它的两个依赖项。

      Name                     Command                  State                            Ports
--------------------------------------------------------------------------------------------------------------------
milvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp
milvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp
milvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp
attu                /usr/bin/docker-entrypoint ...   Up             0.0.0.0:8000->3000/tcp

在浏览器中访问“http://{your machine IP}:8000”，点击“Connect”进入Attu服务。我们还支持TLS连接，用户名和密码。

在这里插入图片描述

汀、人工智能
关注
  • 49
    点赞
  • 踩
  • 214
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 26
    评论
专栏目录
Milvus开源向量数据库，提供向量相似度搜索
11-01
Milvus 是一款全球领先的开源向量数据库，赋能 AI 应用和向量相似度搜索，加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。 Milvus 2.0 是一款云原生向量数据库，采用存储与计算分离的架构设计。
milvus安装资源以及zilliz安装资源
05-17
zilliz/attu 版本 v2.1.0 minio/minio 版本RELEASE.2022-03 etcd 版本 v3.5.0 milvus 版本2.1.4 安装部署 前提，安装好docker 1、docker load -i xxx.tar 解压资源包 2、./conder-compose up -d //用docker-compost直接启动 3、docker run -itd --restart=always -p 13000:3000 -e HOST_URL=http:///xxxx:13000 -e MILVUS_URL=/172.31.164.6:19530 zilliz/attu:v2.1.0 //启动客户端 4、登录xxx:1300即可访问数据库
一篇文章带你学会向量数据库Milvus（一）
2401_85782938的博客
06-20 1412
向量数据库是一种专用系统，旨在通过向量嵌入和数值表示来管理和检索非结构化数据，这些数据项捕获图像、音频、视频和文本内容等数据项的本质。与使用精确搜索操作处理结构化数据的传统关系数据库不同，向量数据库在使用近似最近邻 （ANN） 算法等技术进行语义相似性搜索方面表现出色。此功能对于开发跨各个领域的应用程序（包括推荐系统、聊天机器人和多媒体内容搜索工具）以及解决 AI 和 ChatGPT 等大型语言模型带来的挑战至关重要，例如理解上下文和细微差别以及 AI 幻觉。像Milvus。
Milvus向量库安装部署
wangqiaowq的博客
02-19 2217
1、安装Standstone 版本。
Milvus向量数据库
weixin_44490884的博客
05-30 6094
Milvus创建于2019年，唯一的目标是：存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大量嵌入向量embedding vectors。
第12篇：基于Milvus的推荐系统中的向量检索
Gemini的博客
06-17 712
搭建Milvus环境：在本地或服务器上安装并配置Milvus。数据集准备与预处理：加载用户行为和物品特征数据，进行特征提取和向量归一化。向量存储：将处理后的向量存储到Milvus中。实现向量检索功能：开发向量检索接口，实现基于Milvus的推荐系统。应用集成：将检索结果集成到推荐系统中。fill:#333;color:#333;color:#333;fill:none;实现步骤概述搭建Milvus环境数据集准备与预处理向量存储实现向量检索功能应用集成。
Milvus 介绍
一只努力的微服务
07-04 3776
代理本身是无状态的，可以借助负载均衡组件（Nginx、Kubernetes的Ingress、NodePort、LVS）向外界提供统一的访问地址和服务。为了在写入数据时充分利用集群的并行计算能力，Milvus 中的集合必须将数据写入操作分散到不同的节点。在 Milvus 中，所有数据都是按照集合（collection）、分片（shard）、分区（partition）、段（segment）和实体（entity）来组织的。相比之下，分片更多的是在写入数据时的扩展能力，而分区更多的是在读取数据时增强系统性能。
【Milvus的安装和使用】
热门推荐
hello_dear_you的博客
11-14 1万+
Milvus初步使用
向量搜索数据库milvus的详细讲解
leaning_java的博客
04-24 1万+
向量搜索数据库milvus的详细讲解
Milvus实践 第一章：简介与部署
weixin_47336776的博客
04-06 4522
业内最好的向量数据库及向量检索工具
基于C++和多语言的向量数据库Milvus设计源码
04-08
Milvus向量数据库 - 基于C++和多语言开发，包含2954个文件，如Go、YAML、H、Python、C++、...该数据库是面向AI应用和向量相似度搜索的全球领先开源项目，能够加速非结构化数据的检索效率，是AI时代的数据管理利器。
Windows安装部署向量数据库所需软件包（Milvus）
03-16
在IT领域，尤其是在人工...了解以上知识点后，你可以顺利在Windows环境中部署和使用Milvus向量数据库，同时结合Attu实现便捷的管理。在AI项目中，正确配置和使用这样的数据库系统对于提升模型性能和用户体验至关重要。
关于Milvus向量数据库在Docker上的安装-Windows版
07-29
attu安装包
强大的向量数据库：Milvus
sgyuanshi的博客
09-01 7689
在推荐系统中，向量的最邻近检索是极为关键的一步，特别是在召回流程中。一般常用的如Annoy、faiss都可以满足大部分的需求，今天再来介绍另外一个：Milvus Milvus Milvus不同于Annoy、faiss这类型的向量检索工具，它更是一款开源向量数据库，赋能 AI 应用和向量相似度搜索。 涉及的术语 Filed：类似表字段，可以是结构化数据，当然还可以是向量； Entity：一组Filed，类似表的一条数据； Collection：一组Entity，类似于表； 亮点 Milvus不单单是向.
云原生向量数据库Milvus知识大全，看完这篇就够了[基本概念、系统架构、主要组件、应用场景]
丨汀、的博客
07-12 3077
Milvus 是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。Milvus 基于 FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。
Milvus向量数据库检索
AI学长
03-14 1923
本节介绍如何使用 Milvus 搜索实体。Milvus 中的向量相似度搜索会计算查询向量与具有指定相似度度量的集合中的向量之间的距离，并返回最相似的结果。您可以通过指定过滤标量字段或主键字段的布尔表达式来执行混合搜索。下面的例子展示了如何对2000行的图书ID（主键）、字数（标量场）、图书介绍（向量场）的数据集进行向量相似度搜索，模拟根据搜索条件搜索某本书的情况关于他们的矢量化介绍。Milvus 会根据您定义的查询向量和搜索参数返回最相似的结果。
一篇文章带你学会向量数据库Milvus
最新发布
qkh1234567的博客
08-13 983
如果我们要使用自定义索引，请在index_type参数中指定特定索引类型。index_params = client.create_index_params() # 准备一个 IndexParams 对象​field_name="scalar_2", # 标量字段名称index_type="INVERTED", # 明确索引类型index_name="inverted_index" # 索引的名称​collection_name="demo_v4", # 将索引添加到集合中INVERTED。
milvus: 专为向量查询与检索设计的向量数据库
penriver的博客
07-26 2687
Milvus的目标是：store, index, and manage massive embedding vectors generated by deep neural networks and other machine learning (ML) models. Milvus 向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。 与现有的关系数据库主要按照预定义的模式处理结构化数据不同，Milvus采用自底向上设计，以处理从非结构化数据转换而来的Embedding向量。
docker 安装milvus
09-02
要在docker中安装Milvus，您可以按照以下步骤进行操作： 1. 下载Milvus的Docker Compose文件。您可以手动下载，也可以使用以下命令下载：wget https://github.com/milvus-io/milvus/releases/download/v2.2.11/milvus-standalone-docker-compose.yml -O docker-compose.yml 。 2. 将下载的文件保存为docker-compose.yml。 3. 使用以下命令来创建和启动Milvus容器：docker-compose -f docker-compose.yml up -d 。 通过执行以上步骤，您就可以在docker中成功安装Milvus。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [一文带你入门向量数据库milvus：含docker安装、milvus安装使用、attu 可视化，完整指南启动 Milvus 进行了...](https://blog.csdn.net/sinat_39620217/article/details/131847096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [docker 安装向量数据库 Milvus](https://blog.csdn.net/chy555chy/article/details/131658058)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 26
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值