2021李宏毅机器学习课程笔记——Explainable AI

注：这个是笔者用于期末复习的一个简单笔记，因此难以做到全面详细，有疑问欢迎大家在评论区讨论
https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pptx

I. Interpretable v.s. Powerful

从某种程度来讲，可解释性与模型性能是不可兼得的。比方说，线性模型是可解释的(直接看特征的权重)，但是性能有限；深度模型不可解释，但是性能很强。

从目前的现状看，大部分人还是会选择性能更强的模型，而去牺牲一些可解释性。实际上的话，大脑的工作原理我们也不清楚，但我们在许多情况下依然是可以去信任人类的决策。

II. Local Explanation

通过标记出图像中模型认为"重要的"部分，从而侧面反映出模型的决策依据：

例如，如果模型认为图像中的耳朵，爪子，眼睛(而不是背景物件)比较重要，那么我们确实可以去相信判断这张图像是猫是有依据的。

落实到具体实现上的话，我们可以搞个滑动窗口，每次都去遮住图像中的某一块。如果遮到某个位置后对模型的决策有较大影响的话，我们就可以认为该部分是模型认为重要的部分；另一种思路类似，只不过不是遮掉某一块，而是对某一块的像素进行扰动，观察对哪些像素进行扰动会对模型结果产生较大影响，从而分析出模型认为重要的部分(注：这种思路可以得到一张Saliency Map)。

需要注意的是，对于上面我们所提到的"扰动像素"方法，存在一个比较大的问题，即"梯度并不总是能反映重要性"，由于梯度饱和的存在：

III. Global Explanation

这种思路更直观一些。比方说，模型能够识别一只猫，那么我们可以试图去让模型自己构造出其心目中"理想"猫的样子。具体的做法则与对抗攻击十分类似了，固定模型的参数，利用梯度反传去构造图像，唯一的一点不同在于我们这里要求构造的图像应尽可能像现实图像(不然最后生成的结果极大概率是一坨噪声)：