数学原理不具体展开
直接上代码
import cv2
import matplotlib.pyplot as plt
saliency= cv2.saliency.StaticSaliencyFineGrained_create()
(_, sm) = saliency.computeSaliency(img)
plt.imshow(sm, cmap = plt.cm.hot)
就可以实现如下效果的变换
也可以利用预训练模型生成
model = torchvision.models.squeezenet1_1(pretrained=True)
for param in model.parameters():
param.requires_grad = False
def compute_saliency_maps(X, y, model):
# 确保model是test模式
model.eval()
# 确保X是需要gradient
X.requires_grad_()
saliency = None
logits = model.forward(X)
logits = logits.gather(1, y.view(-1, 1)).squeeze() # 得到正确分类
logits.backward(torch.FloatTensor([1., 1., 1., 1., 1.])) # 只计算正确分类部分的loss
saliency = abs(X.grad.data) # 返回X的梯度绝对值大小
saliency, _ = torch.max(saliency, dim=1)
return saliency.squeeze()
saliency = compute_saliency_maps(img, y, model)
saliency = saliency.numpy()
最后生成的图用numpy()转成普通矩阵即可显示,不然是tensor显示不出