随笔录--图片相似度算法

 最近学校在教学可视化方向的数据相似度的知识，由此想来 总结一下对于图片数据的相似度算法

本文主要通过以下几个方面讲述图片相似度算法：

1、深度学习如何抽取图片特征？

2、图片特征如何计算相似度值？

3、（衍生）如何针对特定的部分计算相似度呢？

一、深度学习如何抽取图片特征？

    在生活中，我们看一个人相似我们会从眼睛、鼻子及嘴巴等这些角度去考虑，如果这些像，那么我们就会认为这两个人比较相似；同样在机器中判断相似度也是抽取出特征来计算的，在图像中的特征有纹理、轮廓、语义信息等这些。那么如何将它们抽取出来，这里我们就得用到卷积神经网络进行抽取。如图.

    从上图最左侧可以看到，图像在不断的卷积、maxpool操作后，图片在不断的缩小，那么这里的每次操作后，都是一张特征图，最底层的带有的轮廓信息、最高层的带有语义信息，那么这里就是图片特征数据了。（这里的Backbone模型，可以用vgg、resnet、SwinTransform等都可以）。

提取特征代码如下：

import torch
from torch import nn
from torchvision.models import resnet50, resnet18

"""
1、先构建不同层级模型
2、加载图片进行推理
"""
origin_model = resnet50()

resnet50_weigth = torch.load('./model_weight/resnet50-0676ba61.pth')
origin_model.load_state_dict(resnet50_weigth)

model_new_level_1 = nn.Sequential(*list(origin_model.children())[:5])
model_new_level_1.eval()

model_new_level_2 = nn.Sequential(*list(origin_model.children())[:6])
model_new_level_2.eval()

model_new_level_3 = nn.Sequential(*list(origin_model.children())[:7])
model_new_level_3.eval()


#图2
plt.imshow(reset_model_level_2(torch.tensor(input_arrays).to(torch.float).permute(2,1,0).unsqueeze(0))[0][2].permute(1, 0).detach().numpy())

#图3
plt.imshow(reset_model_level_4(torch.tensor(input_arrays).to(torch.float).permute(2,1,0).unsqueeze(0))[0][2].permute(1, 0).detach().numpy())

二、图片特征如何计算相似度？

      一般在计算相似度值时，常用的算法有：欧氏几何距离算法、曼哈顿距、编辑距离、余弦距离等。那么在这种图片特征相似度计算中中，一般是用余弦距离进行计算。

实现的具体实例代码如下：

from sklearn.metrics.pairwise import cosine_similarity

def get_sims(vec1, vec2):
    cos_sim = cosine_similarity(vec1.reshape(1, -1), vec2.reshape(1, -1))
    return cos_sim

三、如何针对特定的部分计算相似度呢？

    前面大家应该也大概了解了，我们如何在图片之间判断相似。那么这里衍生的问题来了，如果有两张照片背景不同，但是主体相同你只想判断主体是否一致，这个时候你只想判断是不是同个人，那么这个时候怎么办呢？当然有可能前面的方法也同样可以找出来，但是也有可能因为背景信息过大，导致相似度判断不准确，这个时候我们就得使用语义分割模型进行主体分离了。