Explainable ML
为什么要Explainable ML
有时候机器可能正确率很高,但实际上什么都没学到。这样以后必定是会犯错的。
而当我们有了机器的解释后,不仅可以用于法律、金融,还可以根据解释改进机器学习。
但这并不是必须的:人脑和ML都是黑盒子啊!
所以,ML的目标是让客户、老板、开发者爽。
Local Explanation: Explain the Decision
将一个物体抽象成一个
V
e
c
t
o
r
Vector
Vector,想知道每个部分对决策的重要性。
一种方法:将这个部分去掉,观察变化。
另一种方法:在在某一个变量上加一个小小的扰动,并求出偏微分。这样就可以画出Saliency Map。
但这种方法有一个限制:某个数据尽管很重要,但可能已经饱和了,再怎么改变也不会对最后的决策产生影响。比如大象的鼻子长度。
Regularization from Generator
我们希望知道机器认为的一只猫是什么样的。
方法如下:
USING A MODEL TO EXPLAIN ANOTHER
有时,我们会遇上一个无法直接解释的模型。那就可以用一种间接的方法去解释:用一个具有解释能力的模型,去模仿这个黑盒子。
比如,可以用linear model去模仿一个局部。这个方法叫做:LIME。
LIME: Image
如果想用LIME去解释一个图像该怎么做呢?
先手动将图片分成许多小部分,再随机丢掉某些部分,生成一个新数据,将新数据放入黑盒,查看分数。