local explanation
方法1:用小方块盖住图片的一块区域,看看模型还能不能正确识别图片,如果不能,说明这块区域很重要
方法2:Saliency Map 求图片的正确识别结果对图片上每个像素的梯度,梯度绝对值越大越重要。限制,稍微长点的鼻子就可以识别为大象,更长的鼻子部分的梯度有可能变得非常小。可能被攻击,加上噪音,卡车识别正确,但是因为是云彩
global explanation
方法1: Activation Maximization 找一张输入图片,使输出的类型值最大,一般得到噪音图,需要加正则项才能得到稍微正常的结果
方法2: regularization from generator 先训练一个generator。组建一个网络,输入code,generator,image,image classifier,输出概率, 然后在这个网络上,根据输出调整输入code。 然后用得到的code生成图片。
方法3: LIME 用一个简单的模型,比如线性模型,决策树,解释另一个复杂模型的一部分。