深度学习可解释性

local explanation
方法1:用小方块盖住图片的一块区域，看看模型还能不能正确识别图片，如果不能，说明这块区域很重要
方法2:Saliency Map 求图片的正确识别结果对图片上每个像素的梯度，梯度绝对值越大越重要。限制，稍微长点的鼻子就可以识别为大象，更长的鼻子部分的梯度有可能变得非常小。可能被攻击，加上噪音，卡车识别正确，但是因为是云彩

global explanation
方法1: Activation Maximization 找一张输入图片，使输出的类型值最大，一般得到噪音图，需要加正则项才能得到稍微正常的结果
方法2: regularization from generator 先训练一个generator。组建一个网络，输入code，generator，image，image classifier，输出概率， 然后在这个网络上，根据输出调整输入code。 然后用得到的code生成图片。
方法3: LIME 用一个简单的模型，比如线性模型，决策树，解释另一个复杂模型的一部分。