可解释机器学习-Task01-导论

1nnoh

已于 2022-12-17 16:47:48 修改

阅读量435

点赞数

分类专栏：可解释机器学习文章标签：人工智能深度学习

于 2022-12-16 17:15:47 首次发布

本文链接：https://blog.csdn.net/Ryan_HH/article/details/128345220

版权

可解释机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

💡 博客地址：https://1nnoh.top/3W8VFN4/
🥇 版权: 本文由【1nnoh】原创各位大佬敬请查阅
🎉 声明: 本博文禁止转载感谢尊重和理解
❤️ 如果文章对你有帮助欢迎一键三连

可解释机器学习-Task01-导论

0x00 Abstract

从以下角度来认识可解释机器学习：

什么是可解释人工智能？
学可解释机器学习有什么用？
如何对传统机器学习、深度学习做可解释性分析？

0x01 什么是可解释机器学习

是打开人工智能的黑箱子，洞悉人工智能的脑回路与注意力，进而解释它，了解它，改进它，信赖他的一门学科。

1. 人工智能黑箱子灵魂之问

AI 的脑回路是怎样的？AI 如何做出决策？是否符合人类的直觉和常识？
AI 会重点关注哪些特征，这些特征是不是真的有用？
如何衡量不同特征对 AI 预测结果的不同贡献？
Al 什么时候 work, 什么时候不 work?
AI 有没有过拟合？泛化能力如何？
会不会被黑客误导，让 AI 指鹿为马？
如果样本的某个特征变大 15，会对 AI 预测结果产生什么影响？
如果 AI 误判，为什么会犯错？如何能不犯错？
两个 AI 预测结果不同，该信哪一个？
能让 AI 把学到的特征教给人类吗？

2. 黑箱子案例：

AI 在关注哪些区域，哪里的特征对于 AI 识别坦克来说最重要
将一张大熊猫的照片，加上一些看似随机的噪声后，AI 以较高的置信度将其识别为长臂猿（即使在人类看来没有很多区别，明显仍然是一个熊猫）
AI 绘画的偏差，经不起严谨的推敲：比如要求画出游在溪水中的三文鱼，AI 将日料店里的三文鱼刺身画在了溪水里；或者只能知道大概模样的握手照片。

因此目前的 AI 大多是黑箱，而且是经常会犯错误的黑箱，如果在医疗、无人驾驶、金融等领域，如何才能放心的将身家性命托付给人工智能？

0x02 为什么要学可解释机器学习

1. 可解释学习是一个很好的研究方向

选择人工智能研究方向的建议（同济子豪兄）
- 尽可能通用，与其它研究方向交叉
- 顺应主流发展趋势，长期存在且有用
- 有高质量的数据集
- 不过分小众，但也好发 paper, 没有疯狂内卷
- 能应用到产业界垂直细分行业
- 有商业应用价值，容易“讲故事”

而可解释机器学习恰好都符合这些要求 ^ ^

总结一下，可解释机器学习的意义：

研究 AI 的脑回路，就是研究 AI 的本质。
可解释分析是机器学习和数据挖掘的通用研究方法。
和所有 AI 方向交叉融合：数据挖掘、计算机视觉、自然语言处理、强化学习、知识图谱、联邦学习。
包括但不限于：大模型、弱监督、缺陷异常检测、细粒度分类、决策 AI 和强化学习、图神经网络、AI 纠偏、AI4Science、Machine Teaching、对抗样本、可信计算、联邦学习。

2. 推荐的细分领域

2.1 Machine Teaching

从 Machine Learning 到 Machine Teaching，人工智能教人类学习

这里挺有意思的，先用海量数据训练 AI，使其学习某一项任务并达到较高的标准，随后反过来以可视化的形式，将其学习到的重要特征展示给人类，指导人类的学习、生活与工作。

AI 以热力图的形式，将鸟类的区别特征展示给人类，教会人类如何去分辨各种类别的鸟。
使用神经网络预测激光切割断面的工艺参数（准确度远胜于人类专家），并且以可视化的方法，教会人类切割断面上的哪些特征是对预测起到关键作用的。
绝艺围棋 AI 指导棋（腾讯）
钢轨伤损智能检测（同济大学轨道系张子豪）：指导铁路维修工人制定轨道定损的规范与策略
补全、复原未完成或缺损的古画（百度文心）=》指导人类书法、绘画技巧

2.2 细粒度图像分类

什么是细粒度图像分类：对属于同一大类，已经高度相似，做进一步的细分小类。（已经非常像，但又彼此不同）

比如荔枝、海洋生物、奥特曼…
肺炎（细菌性肺炎、病毒性肺炎、新冠肺炎…）
- 指导影像科医生应该关注哪些区域，从而做出判断。
使用图像分类解决图像定位（甚至图像分割）的问题（这个角度好有意思）
- 分类告诉人类有没有缺陷
- 进一步通过可解释分析，定位缺陷位置，告诉人类是哪里有缺陷

=》通过可解释机器学习，验证 AI 关注到了应该关注到的特征（或者区域），甚至进一步指导人类应该去关注哪些特征。

2.3 一些前沿 AI 方向

值得使用可解释机器学习去解释、探究的大型的深度学习模型

ChatGPT
AI 绘画
目标检测
关键点检测

0x03 怎么学可解释机器学习

1. 本身可解释性好的机器学习算法

KNN
- 根据距离新样本最近的 K 个样本是什么类别，从而判断新样本的类别（近朱者赤近墨者黑）
逻辑回归
- 使用一定的权重，将所有特征加权求和，通过 Sigmoid 函数，获得概率。
线性回归
IF ELSE=》决策树（非常接近人类的脑回路）
朴素贝叶斯

传统机器学习算法的可解释性分析（【子豪兄Kaggle】玩转UCI心脏病二分类数据集）：

算法自带的可视化
算法自带的特征权重
Permutation Importance 置换重要度
- 将某一列的特征随机打乱，若打乱后严重降低算法准确度，说明该特征比较重要；
- 若打乱后没什么影响，说明不怎么重要；
- 若打乱后反而提升了算法，说明该特征属于噪音，更加不重要。
PDP 图、ICE图
- PDP 图（看一个人）随着年龄的增长，患病几率的变化
- ICE 图（看多个人）
Shapley 值
Lime

总结：目前的一些机器学习算法的可解释性是比较好的，但能力有限，深度网络有较强的能力，但可解释性尚且需要探究，因此很有必要对例如深度学习的模型做可解释性分析。

2. 对可解释性很差的深度学习做可解释性分析

卷积神经网络的可解释性分析：

可视化卷积核、特征图（最早追溯到 AlexNet）
- 卷积核的作用
  - 每个卷积核提取不同的特征，每个卷积核对输入进行卷积，生成一个 feature map，这个 feature map 即提现了该卷积核从输入中提取的特征，不同的 feature map 显示了图像中不同的特征。
  - 浅层卷积核提取：边缘、颜色、斑块等底层像素特征；中层卷积核提取：条纹、纹路、形状等中层纹理特征；高层卷积核提取：眼睛、轮胎、文字等高层语义特征；最后的分类输出层输出最抽象的分类结果。
- 但人类只能理解浅层的卷积核，对于深层的卷积核是无法解释的
遮挡、缩放、平移、旋转（ZFNet）
- 使用灰色块遮挡图像的不同区域，根据对预测结果与置信度的影响，判断各个区域对于预测的重要性
- 对图像做缩放、平移、旋转，探究对预测结果的影响
- 统一遮挡住图像（狗）的右眼，若相比于随机遮挡，产生了一致性影响，那么说明神经网络确实学习到了右眼的特征。
找到能使某个神经元激活的原图像素，或者小图
基于类激活热力图（CAM）的可视化
- 把 AI 认为重要的特征高亮出来
  - 从而可以解释 AI 为什么会犯错，是最终关注在了哪个区域导致判断错误
  - 并且可以根据神经网络关注的区域，判断是不是带有 Bias 的，从而指导人类修改数据集
语义编码降维可视化
由语义编码倒推输入的原图
生成满足某些要求的图像（某类别预测概率最大）

Conclusion

《深度学习的可解释性研究综述》 ——李凌敏，侯梦然，陈琨，刘军民
《深度学习可解释性研究综述》——雷霞，罗雄麟

思考题：

为什么要对机器学习、深度学习模型做可解释性分析和显著性分析？
- 打开人工智能的黑箱子，探究其脑回路，了解、解释 AI，从而改进它，信赖它。
如何回答〝人工智能黑箱子灵魂之问"？
- 对算法做可解释性分析
人工智能的可解释性分析有哪些应用场景？
- Machine Teaching
- 对大模型做可解释性分析
哪些机器学习算法本身可解释性就好？为什么？
- KNN、LR、决策树等。
- 这些算法的本质容易被人类理解，比如最近邻的样本点、对特征做加权求和、通过 IF ELSE 判断。
对计算机视觉、自然语言处理、知识图谱、强化学习，分别如何做可解释性分析？
- 计算机视觉：可视化卷积核、CAM 等。
在你自己的研究领域和行业，如何使用可解释性分析？
- 对三维模型的 Embedding 做降维可视化。
- 探究神经网络关注到了三维模型的哪些拓扑特征与几何特征。
可以从哪几个角度实现可解释性分析？
- CAM、卷积核可视化、Embedding 降维可视化等。
Machine Teaching 有哪些应用场景？
- AI 指导棋、书法绘画、各种物体或医学图像的细粒度分类等。