模型可解释性

github

深度学习模型可解释性研究综述
卷积神经网络表征可视化研究综述

分类器可视化解释StylEx

分类器可视化解释StylEx：谷歌、MIT等找到了影响图像分类的关键属性

与模型无关的局部可解释性方法(LIME)

模型解释-LIME的原理和实现

saliency map显著图

告诉我们图像中的像素点对图像分类结果的影响。导数的大小表示某个像素点改变一点，对最后结果的影响。计算它的时候首先要计算与图像像素对应的正确分类中的标准化分数的梯度，再取梯度的绝对值，然后再取三个颜色通道的最大值；因此最后的saliency map的形状是(H, W)为一个通道的灰度图。

def compute_saliency_maps(X, y, model):
    """
    X表示图片, y表示分类结果, model表示使用的分类模型
    
    Input : 
    - X : Input images : Tensor of shape (N, 3, H, W)
    - y : Label for X : LongTensor of shape (N,)
    - model : A pretrained CNN that will be used to computer the saliency map
    
    Return :
    - saliency : A Tensor of shape (N, H, W) giving the saliency maps for the input images
    """
    # 确保model是test模式
    model.eval()
    # 确保X是需要gradient
    X.requires_grad_()
    saliency = None
    logits = model.forward(X)
    logits = logits.gather(1, y.view(-1, 1)).squeeze() # 得到正确分类
    logits.backward(torch.FloatTensor([1., 1., 1., 1., 1.])) # 只计算正确分类部分的loss
    saliency = abs(X.grad.data) # 返回X的梯度绝对值大小
    saliency, _ = torch.max(saliency, dim=1)
    return saliency.squeeze()