github
深度学习模型可解释性研究综述
卷积神经网络表征可视化研究综述
分类器可视化解释StylEx
分类器可视化解释StylEx:谷歌、MIT等找到了影响图像分类的关键属性
与模型无关的局部可解释性方法(LIME)
saliency map显著图
告诉我们图像中的像素点对图像分类结果的影响。导数的大小表示某个像素点改变一点,对最后结果的影响。计算它的时候首先要计算与图像像素对应的正确分类中的标准化分数的梯度,再取梯度的绝对值,然后再取三个颜色通道的最大值;因此最后的saliency map的形状是(H, W)为一个通道的灰度图。
def compute_saliency_maps(X, y, model):
"""
X表示图片, y表示分类结果, model表示使用的分类模型
Input :
- X : Input images : Tensor of shape (N, 3, H, W)
- y : Label for X : LongTensor of shape (N,)
- model : A pretrained CNN that will be used to computer the saliency map
Return :
- saliency : A Tensor of shape (N, H, W) giving the saliency maps for the input images
"""
# 确保model是test模式
model.eval()
# 确保X是需要gradient
X.requires_grad_()
saliency = None
logits = model.forward(X)
logits = logits.gather(1, y.view(-1, 1)).squeeze() # 得到正确分类
logits.backward(torch.FloatTensor([1., 1., 1., 1., 1.])) # 只计算正确分类部分的loss
saliency = abs(X.grad.data) # 返回X的梯度绝对值大小
saliency, _ = torch.max(saliency, dim=1)
return saliency.squeeze()