【Milvus的以图搜图】

最新推荐文章于 2024-06-11 07:54:17 发布

hello_dear_you

最新推荐文章于 2024-06-11 07:54:17 发布

阅读量3.6k

点赞数 2

分类专栏： # Milvus 文章标签： milvus 以图搜图

本文链接：https://blog.csdn.net/hello_dear_you/article/details/127923025

版权

Milvus 专栏收录该内容

5 篇文章 8 订阅

订阅专栏

0. 介绍

Milvus官方在bootcamp项目中给开发者提供多种解决方案，包含常见的以图搜图、人脸检索、DNA相似性检索、视频检索等等，具体可以参考bootcamp项目。

本文主要就bootcamp中以图搜图reverse_image_search的代码介绍如何运行该样例，进而了解如何打造自己的图像搜索engine。

参考连接：

1. 启动Milvus和MySQL容器

在Milvus的系列文章，【Milvus的安装和使用】和【pymysql的基本使用】两篇文章介绍了如何安装Milvus、pymvilus的基本使用，以及如何通过pymysql库来操作MySQL。

在这一部分，主要是确认Milvus和MySQL容器处于启动状态下，以及两个容器的基本信息。首先，在milvus的docker-compose.yml文件的同级目录下，通过如下命令插入milvus容器的状态。

# 启动
docker-compose up -d

# 查看
docker-compose ps -a

# 停止
docker-compose down

大致的过程如下图所示：

然后确认MySQL容器的状态，具体过程如下图所示：

此外，需要在MySQL中建立一个milvus的db来存放后续实验的数据内容。

2. 项目内容

本文此次以reverse_image_search的quick_deploy工程进行讲解，milvus中以图搜图的例子主要思路如下图所示。

整个过程可以如下两个阶段：

构建数据样本库阶段

准备用于构建样本库的图像数据；
使用目标分类网络ResNet50提取图像特征信息；
将每个图像的特征embedding信息插入到Milvus中，同时将Milvus对每个图像生成index和对应的图像名信息存储到MySQL数据库中；

目标样本检索阶段

输入目标样本文件名；
目标样本经过目标分类网络提取特征得到对应embedding信息；
执行搜索；
milvus返回与该样本相似的topK个图像名；

接下来，主要介绍一些需要用户配置的参数以及相关的一些改进。

2.1 特征提取网络修改

在该项目的server端的encode.py文件是图像特征提取的实现，通过towhee库调用resnet50网络提取图像特征，部分代码如下图所示：

由于本人没有用过towhee库，所以基于pytorch重写了特征提取的过程，同时支持single图像和batch图像推理，在构建样本库使用batch推理可以极大节省时间。部分代码如下图所示。

2.2 配置信息

以图搜图项目中，主要是milvus和MySQL容器的相关参数需要配置，具体如下图所示：

首先分析一下miluvs的相关参数：

MILVUS_HOST和MILVUS_PORT：miluvs容器的IP地址和端口
VECTOR_DIMENSION：特征提取网络输出的维度，在pytorch中，resnet50的输出为1000维
DEFAULT_TABLE：默认存放特征embedding数据的collection名称
TOP_K：即检索时，输出前K个相似的图像名

然后，MySQL相关参数含义如下：

MYSQL_HOST和MYSQL_PORT：MySQL的IP地址和端口
MYSQL_USER和MYSQL_PWD：用户名和密码
MYSQL_DB：存放数据的database名称

3. 运行服务端

在配置好上述参数和确认milvus和MySQL容器处于启动状态之后，此时就可以来启动项目的服务端。以图搜图使用fastapi库来构建服务端，启动服务的命令如下：

uvicorn main:app --reload

对于fastapi库的内容本人不是特别熟悉，如果想要了解具体了解fastapi可以参考其官方文档。

运行上述命令，看到如下截图信息即可表示，服务启动成功。

如同所提示的一样，此时可以在浏览器中输入地址127.0.0.1:8000，可以看到如下页面内容。

然后输入FastAPI - Swagger UIhttp://127.0.0.1:8000/docs

即可看到，该服务定义的一些接口，大致的含义，已经在图上描述出来。

接下来对其中重要接口调用功能和使用方法进行介绍。

3.1 构建样本检索库

img/load条目的作用是输入collection名称和图像路径从而构建样本检索库，通过点击/img/load条目，然后点击try it out，输入相应的collection名称和图像路径，最后点击execute。然后图像路径下的图像会经过resnet50提取特征，得到embedding，最后插入到指定的collection中。具体过程如下图所示。

3.2 加载数据

/embedding/load条目的作用是将collection中的数据加载到memory中，输入collection名称即可。

3.3 执行检索

/img/search条目的作用是执行目标样本的搜索，需要输入collection名称，选择目标样本的路径和topK的值。

该操作会返回topK个相似的图像路径，如下图所示。

4. 运行客户端

milvus提供了一个以图搜图项目对应的客户端，通过如下命令拉取客户端的镜像。

docker pull milvusbootcamp/img-search-client:1.0

然后，通过如下命令启动客户端容器。

#!/bin/bash

# Modify API_URL to the IP address and port of the server.
export API_URL='http://127.0.0.1:8000'
docker run -d -p 8001:80 \
-e API_URL=${API_URL} \
milvusbootcamp/img-search-client:1.0

在浏览器中输入127.0.0.1：8001，进入到客户端，如下图所示：

到这里就完成milvus以图搜图实例如何运行的描述，替换图像样本库路径就能打造属于自己的以图搜图工具。在milvus的reverse_image_search中除了本文所说的使用目标分类网络来提取特征之外，还有一种以目标检测+分类的object_detection样例。同样也可以将特征提取网络替换为人脸识别模型，这样就可以打造属于自己的人脸搜索引擎✌。