local explanation针对某张图片的可解释性
global explanation在机器自己的心理某张图片是怎么样的
通过可解释性判断模型是否学到东西,光准确率可能什么也没学到
通过可解释性,针对模型效果不好的地方,可以采取针对性的方法去提升
可解释性,让人类放心,针对不同的人有不同的解释
机器学习可解释性的目的
森林一样不好解释
分区域,然后拆除某一部分做比对,看那部分对影响最大
通过工具明确学到的部分
通过saliency Map来做判断,就是数学思想,增量对增量的影响大小,就是偏微分,就是梯度
梯度判断的局限性,这种方式部署万能的
找到对应输出的类别最大化的输入即像素,这些像素就能组合成图,除了让对应输出的类别最大化,还要加一个限制条件,然后生成的东西像正常的东西,这个条件具体情况具体定,比如数字,应该是稀疏的所以,所以的像素加起来不能太大。
让机器产生人看得懂的image,找X变成找Z,通过类别限制来限制generate的输出,这个generate函数就是用替代人为指定的限制函数而已,多增加了个函数
用简单的模型去拟合复杂的模型,简单的模型是可解释的
模拟黑盒子的局部特征
尽可能的接近
切成片段,表示成向量,维度就是片段的大小,01 代表某个片段是否存在
根据得出来的权重就可以轻易的判断某个片段的重要性,0没影响,正影响或者负影响
用可解释的区拟合黑盒子,另外防止模型过大,增加正则表达式
无非就是函数,神经网络本身就是个拟合能力很强的复杂函数,找神经网络就好,然后就可以微分了。