ai训练 样本大小_可解释的ai-综述

可解释ai的背景

可解释ai定义？解释机器作出决策的原因，

研究ai的可解释性有何意义？

主要是提升用户体验， 其他方向如：

• 检查训练好的模型是不是学的噪音
• 模型表现不好？为何不好？怎么改进？

本人觉得用处不大。

可解释ai研究的两个方向

两个方向：局部解释和全局解释，以图像分类场景为例：

• 局部解释：为什么模型认为这个图片是「猫」，是图片的哪一部分导致这个预测结果的？

也就是解释决策路径，即对单个样本预测结果的解读，相当于解读条件概率。

• 全局解释：模型学到的知识是什么？模型认为最典型的「猫」长什么样。

相对于局部解释，相当于求了边缘分布。

1. 局部解释

对每一个样本的预测结果作出解释。对1个新图片作出预测的依据：

• 是某个像素？
• 是某个区域（segmention）？

解决的大致思路：

1. 置零/微调局部的像素/区域，看响应函数的变化情况。
2. 带来较大的响应变量的变化的像素/区域，就是较重要的元素

具体来说，有几种方法：

1. 遮掩法：使用一个固定大小的box对输入的局部像素点/区域进行遮掩，并计算响应变量的值，不断滑动box，得到多个局部区域对应的响应变量的值，计算响应变量变化对大的对应的遮掩的区域。

难点：box的大小怎么指定？太小或者太大都不好，要不断试错。

2. 基于梯度的方法--saliency map：每个样本都有一个saliency map，表示响应变量相对每个原始像素点的偏导数（这个是什么时候算出来的？）

难点：这个saliency map是跟样本的当前的特征值有关系的，要小心使用，不然容易错误解读模型。举个例子，如果一个大象的鼻子超过一定长度，模型不会因为鼻子继续变长而增加其被判断为大象的概率，那么对应的saliency map，很有可能在鼻子区域的值就是0，从而得到片面的结论--大象的鼻子长度对识别大象不重要。

3. 基于模型的方法--LIME，步骤主要为：采样，拟合，解读。

1. 采样：在被解释样本点

附近采样n个样本：

怎么定义「附近」这个距离？虽然对结果影响很大，但是怎么取是个玄学。
另外，做图像分类时有一个trick：不要在像素级别采样，而是在segment级别采样，具体做法是将原始图片先分割成若干个segment，再对segment采样。

2. 拟合：使用线性模型（或者其他可解释的模型）对采样点拟合

3. 对已训练的模型进行解读：

全局解释

对模型学习到的知识进行解释，eg，多分类问题中，每个类型的典型样本长啥样？

几个方法：

1. 基于生成模型的方法：使用一个图像generator+图像分类器，

1. 寻找

2. 寻找

2. 基于模型的方法：

使用简单可解释的模型拟合原本复杂的模型。eg，像这样构造决策树：

1. 在输入空间和被解释模型的响应空间，进行采样；2. 使用决策树拟合，需要加入正则项（eg树的深度）

难点：决策树的复杂度需要控制，否则又变得不可解释了，就白做了。还有一种更骚的做法：在构建原始模型的时候，就把该模型被决策树能表达的能力加入原始模型训练的loss中。（怎么确定该模型被决策树表达的能力呢？ 又构建了一个神经网络做预测。。。）
听起来似乎预测准确性也不行，解释能力也不行。。丢了西瓜捡芝麻

总结

总的来说，为什么要研究模型的可解释性？

不可解释就不能上线使用么？

不是的，模型可解释的提出主要是「优化」用户体验的事情，eg。信息流推荐，商品推荐等等。

好处是，推荐结果不再是冷冰冰的，而是「人性化」&「量身定做」。

但是否意味 我们 要牺牲模型的准确性？

----大可不必削足适履。

比如某款明星基金产品，它的历史表现很稳，但是从来不对外披露它的仓位。

原因可能有

1. 怕别人模仿它的策略，套利空间就没了

2. 有些圈子里的潜规则没法给外行（也就是客户）说的清楚。

那这个还有一款基金b，历史表现跟大盘一致，跟你解释他就买的指数的成分股。

正常人都会选a

可能我们心里头默认了：做投资（预测）交给专业人的人（机器），只要收益高（预测准确率高），不告诉策略（解释你的决策机制），我很能接受的呀～

当然收益 又高，又透明是再好不过了。

总之，如果 收益和 信息透明 两者没法兼得，当然是偏好前者的呀