DINOv2：结合FAISS进行图像相似性搜索

最新推荐文章于 2024-05-22 17:38:14 发布
最新推荐文章于 2024-05-22 17:38:14 发布
阅读量968 收藏 9
点赞数 5
文章标签： faiss 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38739735/article/details/136979083
版权

早些时候，MetaAI 通过开源 DINOv2 在计算机视觉领域取得了一个重要的里程碑，该模型是在 1.42 亿张图像的庞大数据集上训练的。此版本使 DINOv2 与 OpenAI CLIP 直接竞争，初步评估表明它甚至可能在某些任务上超越它。然而，浏览现有文档可能难以利用 DINOv2 的功能。在本文中，我们将探讨图像相似性任务需要采取的步骤，并对其性能进行全面评估。

图像相似性的意义

在之前的故事中，我们深入探讨了图像相似性的多种应用，并展示了 OpenAI Clip 如何促进这一过程。简单回顾一下，以下实例可以证明其相关性：

  1. 组合视觉内容：图像相似性对于组合视觉上连贯的相册或幻灯片非常有用。通过将相似的图像组合在一起，可以实现无缝的叙事或主题进展。

  2. 内容审核：它是防止上传未经授权或不当内容的强大工具。此应用程序在用户生成内容盛行的平台上尤为重要，可确保安全且合规的环境。

  3. 高效的内容检索：在涉及大量图像文件库的场景中，查找特定的视觉效果可能是一项艰巨的任务。图像相似性通过快速检索视觉上类似的图像简化了此过程，从而节省了时间和资源。

现在，让我们探索 DINOv2 如何增强和改进这些应用程序。

探索 DINOv2

DINOv2 是一款多功能模型，具有广泛的应用范围，是执行各种任务的强大工具。其一些主要应用包括：

  1. 深度估计：从相机的视点确定场景中物体距离的过程。

  2. 语义分割：将图像中的每个像素精确分类为不同的类别，从而详细了解对象边界及其语义。

  3. 图像相似性：量化两个或多个图像之间的视觉相似性，并通过辨别其视觉内容的相似性进行检索。

DINOv2 有多种规模，每种规模都针对特定要求量身定制：

  • 小：具有 2100 万个参数，大小为 85MB，从图像中提取的特征的维数为 384。

  • 基础：具有 8600 万个参数，大小为 331MB，从图像中提取的特征的维数为 768。

  • 大：有3亿个参数，占用1.2GB的存储空间，从图像中提取的特征的维数为1024。

  • Giant：现有模型中最广泛的模型，具有 11 亿个参数，需要 4.3GB 的存储空间，从图像中提取的特征维数为 1536。

多样化的模型确保 DINOv2 能够适应多种应用，从资源密集型任务到需要高精度的任务。

入门

为了搜索相似的图像，我们将遵循以下几个步骤：

  1. 特征提取：首先提取数据集中所有图像的特征。这些特征作为每幅图像视觉特征的数值表示。

  2. 使用 FAISS 进行索引：接下来，将这些嵌入存储到 FAISS 索引中。FAISS 提供了一个强大的工具来执行快速相似性搜索，并且它添加了一个简化该过程的抽象层。（有关 FAISS 的更多详细信息，您可以阅读此故事）。

  3. 输入图像特征提取：提取输入图像的特征，用作相似性搜索的查询。

  4. 相似性搜索：利用 FAISS 索引对输入图像的特征进行相似性搜索。检索最相似的前 3 张图像。

首先，必须安装几个软件包。建议使用虚拟环境：

#Creating the virtual env
virtualenv venv-dinov2
source venv-dinov2
#Installaing the packages
pip install transformers faiss-gpu torch Pillow

使用小模型进行特征提取和存储：

import torch
from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import faiss
import numpy as np
import os


#load the model and processor
device = torch.device('cuda' if torch.cuda.is_available() else "cpu")
processor = AutoImageProcessor.from_pretrained('facebook/dinov2-small')
model = AutoModel.from_pretrained('facebook/dinov2-small').to(device)


#Populate the images variable with all the images in the dataset folder
images = []
for root, dirs, files in os.walk('./dataset'):
    for file in files:
        if file.endswith('jpg'):
            images.append(root  + '/'+ file)


#Define a function that normalizes embeddings and add them to the index
def add_vector_to_index(embedding, index):
    #convert embedding to numpy
    vector = embedding.detach().cpu().numpy()
    #Convert to float32 numpy
    vector = np.float32(vector)
    #Normalize vector: important to avoid wrong results when searching
    faiss.normalize_L2(vector)
    #Add to index
    index.add(vector)


#Create Faiss index using FlatL2 type with 384 dimensions as this
#is the number of dimensions of the features
index = faiss.IndexFlatL2(384)


import time
t0 = time.time()
for image_path in images:
    img = Image.open(image_path).convert('RGB')
    with torch.no_grad():
        inputs = processor(images=img, return_tensors="pt").to(device)
        outputs = model(**inputs)
    features = outputs.last_hidden_state
    add_vector_to_index( features.mean(dim=1), index)


print('Extraction done in :', time.time()-t0)


#Store the index locally
faiss.write_index(index,"vector.index")

使用小型模型，特征提取过程在大约 12 秒内分析了 1000 张图像。这表明处理速度约为每秒 83 张图像。为了进一步提高性能，您可以考虑将图像以批次形式提供给处理器，以便同时处理多张图像。这可以显著减少提取特征所需的计算时间，尽管这需要更多的 GPU 消耗。

我们现在可以使用 FAISS 来搜索相似的图像：

import faiss
import numpy as np
import torch
from transformers import AutoImageProcessor, AutoModel
from PIL import Image


#input image
image = Image.open('banana.jpg')


#Load the model and processor
device = torch.device('cuda' if torch.cuda.is_available() else "cpu")
processor = AutoImageProcessor.from_pretrained('facebook/dinov2-small')
model = AutoModel.from_pretrained('facebook/dinov2-small').to(device)


#Extract the features
with torch.no_grad():
    inputs = processor(images=image, return_tensors="pt").to(device)
    outputs = model(**inputs)


#Normalize the features before search
embeddings = outputs.last_hidden_state
embeddings = embeddings.mean(dim=1)
vector = embeddings.detach().cpu().numpy()
vector = np.float32(vector)
faiss.normalize_L2(vector)


#Read the index file and perform search of top-3 images
index = faiss.read_index("vector.index")
d,i = index.search(vector,3)
print('distances:', d, 'indexes:', i)

注意：图像搜索是使用带有 GPU 的 FAISS 执行的，搜索时间非常快，仅为 0.2 毫秒。

首次观察与 Coco 数据集的图像相似性

对于我们的初步评估，我们将利用Coco 数据集中的验证集，其中包含 5000 张图像。我们将使用多张输入图像进行图像相似性搜索，得出以下结果：

9dd3889cca2f563be3826a46d17f0ef4.png

输入图像和前 3 个相似图像

9ada45132427f11f45432806eafd4ac9.png

输入图像和前 3 个相似图像

221d3f0d6da44f9a48eb338bf035ed79.png

输入图像和前 3 个相似图像

这些初步结果已经非常有希望了，让我们更深入地研究图像相似性。

针对更大的数据集进行基准测试

利用数据集

为了对我们的模型进行基准测试，我们选择了 DISC21 数据集，该数据集由 MetaAI Research 专门为图像相似性搜索而创建。由于其大小高达 350GB，我们将使用 Kaggle 上提供的 50,000 张图像的子集。您可以在此处找到数据集。

采用的指标

在指标方面，我们将计算：

  • 准确率：正确预测的图像占图像总数的比例。

  • Top-3 准确率：在前三张相似图像中找到正确图像的次数与图像总数的比例。

  • 计算时间：处理整个数据集所需的时间。

基准测试脚本

首先，我们将检查“真实情况” CSV 文件，以确定在这 50,000 张图片中，哪些图片在数据集中有相似的对应图片。对该文档的初步审查显示，有 529 张图片属于此类。

接下来，我们将开发一个脚本来为这 529 张已识别的图像查找相似图像。随后，我们将计算准确率和 top-3 准确率。提取数据集中所有图像的特征、将它们存储在 FAISS 索引中并存储文件名后，我们可以使用以下脚本（以适应您的文件名）：

import faiss
import numpy as np
import torch
from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import json
import time


#Assume we have stored the filenames in this JSON file
f = open('list_images_disc21.json')
images = json.load(f)
f.close()


#Assume you have stored the ground truth for the 529 images
#json is formatted as follows: { image1_filename: ground_truth_filename, ...} 
f = open('ground_truth.json')
ground_truth = json.load(f)
f.close()


device = torch.device('cuda' if torch.cuda.is_available() else "cpu")
processor = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
model = AutoModel.from_pretrained('facebook/dinov2-base').to(device)


index = faiss.read_index("disc21_base.index")


positive=0
top3_positive=0
total=0
t0=time.time()


for filename in truth:
    image = Image.open(filename)
    with torch.no_grad():
        inputs = processor(images=image, return_tensors="pt").to(device)
        outputs = model(**inputs)
    #Convert and normalize before searching
    embeddings = outputs.last_hidden_state
    embeddings = embeddings.mean(dim=1)
    vector = embeddings.detach().cpu().numpy()
    vector = np.float32(vector)
    faiss.normalize_L2(vector)
    #Search top-3 images
    d,i = index.search(vector,3)
    if ground_truth[filename]==images[i[0][0]]:
        positive+=1
    for res in i[0]:
        if ground_truth[key]==images[res]:
            top3_positive+=1
    total+=1


print('Accuracy:', positive/total)
print('Top3-Accuracy', top3_positive/total)
print('Time:', time.time()-t0)

请注意，此脚本必须适应您使用的文件夹/文件名。如果您需要帮助来重现它，请随时联系我。

基准测试结果

准确率和 Top3 准确率

2f59f1d547ec49cdc5a3362821101327.jpeg

准确率和 Top3 准确率

计算时间

+-------+---------------------+-------------------------------+ 
| 模型 | 特征提取：| 基准时间（529 张图像 |
| | Nb 张图像/秒 | 针对 50000 张图像 |
+-------+---------------------+-------------------------------+ 
| 小 | 47.80 | 22 秒 |
| 基本 | 39.87 | 24 秒 |
| 大 | 21.83 | 35 秒 |
| 巨型 | 6.76 | 93 秒 |
+-------+---------------------+-------------------------------+

其他统计数据

+-------+--------------------+----------------+ 
| 模型 | 索引大小（MB）| GPU 使用情况（MB）|
+-------+--------------------+----------------+ 
| 小 | 74 | 1322 |
| 基本 | 147 | 1594 |
| 大 | 196 | 2398 |
| 巨型 | 293 | 5722 |
+-------+--------------------+----------------+

检查结果

以下示例展示了不同模型获得的结果：

  • 所有模型均能正确识别图像

c6600dfc26241c1c2eb7ff280b18f27f.jpeg

所有模型都找到正确的图像

  • 各模型表现参差不齐

f61ea6dc4f0424af283810affbf36c88.jpeg

各模型表现参差不齐

  • 所有模型都无法找到正确的图像

f8b0c31f72276ac6ced636b6288b31f1.jpeg

所有模型都无法找到正确的图像

对最后一张图片的评论：与真实图像相比，输入图像经历了几次操作，包括旋转、灰度转换和蒙版。难怪所有模型都没有找到预期的图像。

分析

DINOv2 在图像相似性任务上表现非常出色，即使在 DISC21 等具有挑战性的数据集上也是如此。模型越大，性能越好，尽管这在计算时间和 GPU 消耗方面会带来很大的权衡。此外，通过利用 FAISS 功能，执行搜索的速度非常快。

限制

虽然这个基准测试提供了有价值的见解，但我们必须承认它的局限性。由于其规模巨大，我们无法评估 DINOv2 在整个 DISC21 数据集上的表现。

结论

在本次评估中，我们深入研究了 DINOv2 在图像相似性任务上的表现，采用了 DISC21 等具有挑战性的数据集。虽然数据集的大小存在一些限制，但我们的基准测试提供了宝贵的见解，让我们了解 DINOv2 的功能以及不同模型的不同性能水平。

显然，尽管计算需求增加，但更大的模型可以产生更好的结果。利用 FAISS 进一步证明了可以进行搜索的惊人速度。DINOv2 无疑有资格成为图像相似性任务的强大模型。

·  END  ·

HAPPY LIFE

5a32a031428ee4a5f0f4a6119bbe89d4.png

本文仅供学习交流使用，如有侵权请联系作者删除

小北的北
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CV-图像分割-20230405：DINOv2【预训练大模型，拥有 10 亿级参数量，采用Transformer架构；可在语义分割、图像检索、深度估计等方面实现自监督训练。无需微调即可应用于多种下游】
u013250861的博客
04-30 979
国盛证券分析师刘高畅表示，DINOv2 能比用图像文本对做训练的模型得到更丰富的图像特征，这将让整个系统能更好地理解图像，对多模态 AI 的发展起到加速作用。据官方介绍，Meta 开源了多个不同参数规模的预训练模型，在相同的规模下比较，DINOv2 在多种测试基准的得分都能优于目前开源视觉模型中表现最好的 OpenCLIP。DINOv2将会得到极其广泛的应用，正如马克·扎克伯格所说，DINOv2还能被用于改善医学成像、粮食作物生长，更重要的是，可以制作更具真实感和沉浸感的元宇宙。
深度学习之以图搜图实战（PyTorch + Faiss)
10-26
 《深度学习之以图搜图实战（PyTorch + Faiss) 》课程从实战的角度出发，方案来源于工业界实际业务应用（例如：京东、淘宝、拍照搜题、搜索引擎搜索业务等）。通过深度学习工具PyTorch 完成图片特征抽取，结合Facebook AI团队开源的针对聚类和相似性搜索库，完成图片特征索引构建和在线图片检索。    从0到1完成以图搜图的功能实现，针对课程业务分析、数据处理，图片特征索引构建和优化，在线图片检索功能全程实战操作，以最接地气的方式详解每一步流程、解决方案和代码实现。   老师的授课风格： 以实战为主，结合理论，提供免费技术答疑和交流。让大家彻底掌握基于深度学习的图像搜索方案和功能实现。
图片向量相似检索服务(4)——基于faiss实现
05-10 2791
概述 为了让尝试“以图搜图”的相似图片检索的场景，基于Faiss向量索引计算和图片特征提取模型 VGG16 设计了一个以图搜图系统。 开源地址：https://github.com/yaolipro/image-retrieval 检索场景 推理流程：读取图片，算法生成特征向量 特征入库：把特征向量存入ES中 检索流程：线上实时向量检索 具体流程如下图： Faiss简介 faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。 具有以下特性。 提供多
DinoV2的环境配置
josiechen的博客
05-22 298
其中pytorch的安装去官网按命令安装。如果运行过程中有报版本错误，可以屏蔽或者追对性修改代码。
图片向量相似检索服务(1)——解决方案
05-10 685
概述 当您听到“以图搜图”时，是否首先想到了百度、Google 、阿里等搜索引擎的以图搜图功能呢？事实上，完全可以搭建一个属于自己的以图搜图系统：自己建立图片库；自己选择一张图片到库中进行搜索，并得到与其相似的若干图片。 为了让尝试相似图片检索的场景，基于内积距离计算和图片特征提取模型 VGG16 设计了一个以图搜图系统。 正文分为系统概览、 VGG 模型、数据准备、系统部署、总结五个部分。 系统构建 开源地址：https://github.com/yaolipro/image-retrieval 基
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索
高颜值的杀生丸(此博客转载自我的博客园)
12-04 1368
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索 这是AIGC的时代，各种GPT大模型生成文本，还有多模态图文并茂大模型， 以及stable diffusion和stable video diffusion 图像生成视频生成等新模型， 层出不穷，如何生成一个图文并貌的文章，怎么在合适的段落加入图像，图像用什么方式获取， 图像可以使用搜索的形式获取，也可以使用sta...
Dinov2 + Faiss 图片检索
蓝羽飞鸟的博客
04-15 453
Dinov2+FAISS实现快速图像检索
Faiss图像检索
pilykuang的专栏
09-24 613
核心使用了PQ乘法，把单个样本的特征维度向量切分，切分后的每一段向量进行聚类量化，之后计算做成查找表存储，图像查询时经过以上过程，直接查表，速度很快
相似图片搜索算法介绍
热门推荐
roguesir的博客
08-21 1万+
相似图片搜索算法介绍
深度学习算法应用实战 | DINOv2 图像相似度实战
YOLOv8项目贡献者
01-23 2849
基础篇 DINOv2 图像相似度实战
以图搜图升级版faiss框架一之faiss介绍
weixin_42435657的博客
07-30 78
1. Faiss Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含搜索任意大小的向量集的算法，最多可能不适合RAM。它还包含用于评估和参数调整的支持代码。Faiss是用C ++编写的，包含Python / numpy的完整包装器。一些最有用的算法是在GPU上实现的。它由Facebook AI Research开发。 2. 介绍 Faiss包含几种相似性搜索方法。它假设实例表示为向量并由...
基于DINOV2模型的图像相似度计算完整代码和数据
12-19
它涉及比较两张图片之间的相似性，广泛应用于图像检索、人脸识别、内容识别等多个场景。本资源提供了一个基于DINOV2模型的图像相似度计算的完整代码实现，以及相关的数据集，帮助开发者深入理解和实践这一技术。 ...
dinov2代码与预训练模型
06-18
【标题】"Dinov2代码与预训练模型" 是一个与深度学习相关的主题，特别是针对自然语言处理或计算机视觉领域的模型。 Dinov2可能是一个更新版本的Dino（Distributed Inference Network for Objectives Over Visual ...
基于UNET-DinoV2 对 X 射线照片进行牙齿语义分割-内含源码和说明书(可自己修改).zip
最新发布
05-26
该压缩包文件“基于UNET-DinoV2 对 X 射线照片进行牙齿语义分割-内含源码和说明书(可自己修改).zip”提供了一个使用UNET-DinoV2模型进行牙齿语义分割的完整项目。这个项目的核心是利用深度学习技术对X射线图像进行...
B样条函数拟合matlab代码-along-tract-stats:MATLAB工具箱，用于进行扩散张量成像（DTI）MRI超声图像数据的沿线
05-21
FA），而不是将这些度量的可变性分解为单个区域平均均值的更典型方法。 该软件包包含3件事： 工具-一组模块化的MATLAB函数，可在区域组上执行单独的任务（加载，绘图，保存，内插等）。 实验包装器-有关如何将这些...
解决python脚本中error: unrecognized arguments: True错误
09-17
在Python编程中，`error: unrecognized arguments: True` 错误通常出现在命令行解析时，当你尝试传递一个未被脚本预期的参数时。这个错误表明你可能在调用Python脚本时，传入了一个程序无法识别的参数，例如在这个...
图像视频检索： faiss: Billion-scale similarity search with GPUs
apache的专栏
03-12 1261
Billion-scale semantic similarity search with FAISS+SBERT https://towardsdatascience.com/billion-scale-semantic-similarity-search-with-faiss-sbert-c845614962e2 【中译】https://zhuanlan.zhihu.com/p/296321754?utm_source=wechat_timeline Sentence-BERT: Sentence
视觉大模型DINOv2:自我监督学习的新领域
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-12 4416
DINOv2的开源，无疑将进一步推动人工智能领域的发展。借助这个工具，科研人员可以更深入地研究图像和视频的理解机理，开发出更为先进的AI应用。同时，广大开发者和企业也将从这项技术中获益，加速各类智能化应用的落地。DINOv2 作为一种无需 fine-tuning 的自监督方法，在提取图像特征方面表现出色，适用于许多不同的视觉任务。它的开源也为广大研究者和工程师提供了一种新的选择，有望为计算机视觉领域带来更多的突破，可以期待更多基于 DINOv2 的研究工作出现。
几种常见的图像相似度比对方法
AI数据工厂
05-23 3311
本文提供了几种常见的图像相似度比对方法：'TM标准平方差'、 'TM相关性'、'TM相关系数'、'aHash'、'pHash'、'灰度直方图'、'颜色直方图'。
用dinov2进行深度估计代码示例
05-26
以下是使用 DINOv2 进行深度估计的示例代码，其中使用了 PyTorch 框架： ```python import torch import torch.nn as nn import torchvision.transforms as transforms from torch.utils.data import DataLoader from dinov2 import DINOHead # 定义模型 class DepthEstimationModel(nn.Module): def __init__(self, num_classes=1): super(DepthEstimationModel, self).__init__() self.backbone = nn.Sequential( # 定义你的卷积神经网络 ) self.head = DINOHead( in_dim=2048, hidden_dim=2048, out_dim=num_classes, num_layers=3, norm_last_layer=True ) def forward(self, x): x = self.backbone(x) x = self.head(x) return x # 定义数据加载器和数据预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_dataset = YourDataset(...) # 定义你的数据集 train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True) # 定义优化器和损失函数 model = DepthEstimationModel() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) criterion = nn.MSELoss() # 训练模型 for epoch in range(10): for images, depths in train_loader: optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, depths) loss.backward() optimizer.step() print(f"Epoch [{epoch+1}/10], Loss: {loss.item():.4f}") ``` 其中，`DINOHead` 是 DINOv2 模型的头部，用于将特征向量映射到预测值。`train_dataset` 是你的数据集，需要根据需求自行定义。在训练过程中，使用 MSE 损失函数对模型进行训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值