最近学校在教学可视化方向的数据相似度的知识,由此想来 总结一下对于图片数据的相似度算法
本文主要通过以下几个方面讲述图片相似度算法:
1、深度学习如何抽取图片特征?
2、图片特征如何计算相似度值?
3、(衍生)如何针对特定的部分计算相似度呢?
一、深度学习如何抽取图片特征?
在生活中,我们看一个人相似我们会从眼睛、鼻子及嘴巴等这些角度去考虑,如果这些像,那么我们就会认为这两个人比较相似;同样在机器中判断相似度也是抽取出特征来计算的,在图像中的特征有纹理、轮廓、语义信息等这些。那么如何将它们抽取出来,这里我们就得用到卷积神经网络进行抽取。如图.
从上图最左侧可以看到,图像在不断的卷积、maxpool操作后,图片在不断的缩小,那么这里的每次操作后,都是一张特征图,最底层的带有的轮廓信息、最高层的带有语义信息,那么这里就是图片特征数据了。(这里的Backbone模型,可以用vgg、resnet、SwinTransform等都可以)。
提取特征代码如下:
import torch
from torch import nn
from torchvision.models import resnet50, resnet18
"""
1、先构建不同层级模型
2、加载图片进行推理
"""
origin_model = resnet50()
resnet50_weigth = torch.load('./model_weight/resnet50-0676ba61.pth')
origin_model.load_state_dict(resnet50_weigth)
model_new_level_1 = nn.Sequential(*list(origin_model.children())[:5])
model_new_level_1.eval()
model_new_level_2 = nn.Sequential(*list(origin_model.children())[:6])
model_new_level_2.eval()
model_new_level_3 = nn.Sequential(*list(origin_model.children())[:7])
model_new_level_3.eval()
#图2
plt.imshow(reset_model_level_2(torch.tensor(input_arrays).to(torch.float).permute(2,1,0).unsqueeze(0))[0][2].permute(1, 0).detach().numpy())
#图3
plt.imshow(reset_model_level_4(torch.tensor(input_arrays).to(torch.float).permute(2,1,0).unsqueeze(0))[0][2].permute(1, 0).detach().numpy())
二、图片特征如何计算相似度?
一般在计算相似度值时,常用的算法有:欧氏几何距离算法、曼哈顿距、编辑距离、余弦距离等。那么在这种图片特征相似度计算中中,一般是用余弦距离进行计算。
实现的具体实例代码如下:
from sklearn.metrics.pairwise import cosine_similarity
def get_sims(vec1, vec2):
cos_sim = cosine_similarity(vec1.reshape(1, -1), vec2.reshape(1, -1))
return cos_sim
三、如何针对特定的部分计算相似度呢?
前面大家应该也大概了解了,我们如何在图片之间判断相似。那么这里衍生的问题来了,如果有两张照片背景不同,但是主体相同你只想判断主体是否一致,这个时候你只想判断是不是同个人,那么这个时候怎么办呢?当然有可能前面的方法也同样可以找出来,但是也有可能因为背景信息过大,导致相似度判断不准确,这个时候我们就得使用语义分割模型进行主体分离了。