目录
2022年人工智能依旧飞速发展，从传统机器学习模型到如今以“炼丹”为主的深度神经网络，代表着模型拟合度与模型可解释性各自的发展趋势。至此，深刻体会并成功解释NN为何能取得更优的效果成为各行各业的新目标，而可解释性机器学习便应运而生。
AI部分热门研究方向
可见如果说AI的诞生就是为了人类更好地应用，那么真正搞懂AI为什么能应用在某场景，AI在某场景下怎样应用等等问题则显得尤为重要。
可解释性机器学习
在可解释机器学习和可解释性的领域中，还有一些经典案例，有助于理解可解释性和可解释机器学习的重要性：
1. 哮喘和肺炎的案例。由于神经网络的错误无法解释，导致神经网络模型无法用于临床试验。
2. 在狼和狗的图像分类中，解释发现模型使用背景中的雪作为区分的特征，而不是动物本身。
3. 金融部门发现将id作为最重要的特征。
可解释性明确的传统机器学习算法
对于传统机器学习算法，由于其严谨的数学理论推导，使其可解释性十分明确，以KNN为例，该算法主要思路在于通过已选定目标周围的其余已知标签情况来预测当前目标为某一类的可能性，简洁而言：“物以类聚人以群分”，此外如线性回归，Logistic Regression也可从高中数学课本知识得知可由最小二乘法使残差最小得到最优模型，同样地，基于if-else的决策树算法也是出于一些浅层的推理逻辑诞生。
卷积神经网络的可解释性分析
卷积神经网络作为深度学习的其中一种算法，当前研究可解释性分析的方向如下：
- 可视化卷积核、特征图
- 遮挡Mask、缩放、平移、旋转
- 找到能使某个神经元激活的原图像素，或者小图
- 基于类激活热力图(CAM) 的可视化
- 语义编码降维可视化
- 由语义编码倒推输入的原图
- 生成满足某些要求的图像 (某类别预测概率最大)
可视化卷积核
每个卷积核提取不同的特征每个卷积核对输入进行卷积，生成一个feature map这个feature map即提现了该卷积核从输入中提取的特征不同的feature map显示了图像中不同的特征
浅层卷积核提取 : 边缘、颜色、斑块等底层像素特征
中层卷积核提取 : 条纹、纹路、形状等中层纹理特征
高层卷积核提取 : 眼睛、轮胎、文字等高层语义特征
最后的分类输出层输出最抽象的分类结果
遮挡、缩放、平移、旋转
对图像加入一些类似噪声的操作，可以完成进一步的可解释性研究。
找到使某个神经元激活的小图
通过观察特定layer产生的图片可以发现，神经网络对于物体的识别同传统机器算法一样是存在一定的底层逻辑。
基于类激活热力图（CAM）的可视化
通过热力图的可视化，我们可以看到神经网络眼中的图像，比如对于下图的牧羊犬来说，我们可以看到神经网络主要关注的是牧羊犬的主体，而不是关注周围的环境。
语义编码降维可视化
维度始终是机器学习关注的方面。通过维度的提升，我们可以关注到指标的高维信息，从而实现性能的提升；而通过降低维度，可以降低算法复杂度，使计算性能优化，减少对外设的要求和运算时间。
生成特定图像
在讲述该领域的应用前，先引入对抗学习的相关概念。
在深度学习中，有许多类型的对抗性攻击，每一类攻击都有不同的目标和对攻击者知识的假设。然而，总的目标是在输入数据中添加最少的扰动，以导致所需的错误分类。攻击者的知识有几种假设，其中两种是:白盒和黑盒。
白盒攻击假定攻击者具有对模型的全部知识和访问权，包括体系结构、输入、输出和权重。黑盒攻击假设攻击者只访问模型的输入和输出，对底层架构或权重一无所知。目标也有几种类型，包括错误分类和源/目标错误分类。错误分类的目标意味着对手只希望输出分类是错误的，而不关心新的分类是什么。源/目标错误分类意味着对手想要更改原来属于特定源类的图像，以便将其分类为特定的目标类。
如图，我们把57.7%置信度熊猫标签的图片加入噪声，最终得到99.3%置信度的长臂猿，可见在该算法鲁棒性较差，而这也体现出可解释性机器学习的重要性。
思考
· 为什么要对机器学习、深度学习模型做可解释性分析和显著性分析 ?
· 如何回答“人工智能黑箱子灵魂之问” ?
· 人工智能的可解释性分析有哪些应用场景?
· 哪些机器学习算法本身可解释性就好?为什么?
· 对计算机视觉、自然语言处理、知识图谱、强化学习，分别如何做可解释性分析?
· 在你自己的研究领域和行业，如何使用可解释性分析?
· 可以从哪几个角度实现可解释性分析 ?
· Machine Teaching有哪些应用场景 ?
附录
978
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
