深度学习(十二) Explainable ML

最新推荐文章于 2024-05-08 13:37:08 发布
最新推荐文章于 2024-05-08 13:37:08 发布
阅读量718 收藏 2
点赞数 1
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AliForever2020/article/details/126640364
版权

Explainable ML

前言

前面我们曾经多次提出了深度学习模型黑箱性这一特点，所以这篇文章将会给大家讨论一下机器学习的可解释性。

一、为什么需要Explainable ML?

  1. 我们不仅需要机器结果的精确度，还需要进行模型诊断，看机器学习得怎么样。但是如果模型的内部我们一无所知，我们将无法清楚机器学习的真实情况，只得到一个分数，并不能有很强的说服能力

  2. 为了满足使用者的要求，但事实上如果把整个复杂的机器学习内部都弄清楚，这是很困难的并且意义不大的，一般我们只是想找到对整个机器学习过程一个简单的解释即可以认定该模型具有可解释性。

  3. 当模型出现问题的时候，我们需要快速调整模型，那就必须要知道模型的问题出现在哪里，可解释性的模型就显得极为重要。
    在这里插入图片描述

  4. 简单的模型一般都具有很强的可解释性，但是一般效果都不好，比如说线性模型，所以这种模型一般我们很少采用。
    在这里插入图片描述

事实上，决策树模型同时具有很强的可解释性能力和复杂的结构，不过由于单一决策树的模型还是比较简单，我们就要引入多棵树，也就是我们常说的随机深林模型。有一个很大的缺点:计算量太大

二、Local Explanation(局部可解释性)

1.什么是局部可解释性?

所谓的局部可解释性，就是当我们输入一个对象 x，其中有多个component，我们想要知道哪个component 对于完成模型任务起到关键作用。换句话说，我们需要找出最重要的feature，这个就是我们的目标。
在这里插入图片描述

2.移除组成要素（遮挡法）

我们以图像为例，我们只需要遮挡住图像的一个部分，然后对图片重新进行预测，然后得到一个根据权重大小绘制出来的颜色图，即可以判断哪个部分是们重要的feature。
在这里插入图片描述
很明显我们可以看到蓝色部分是我们想要找到的区域，这个区域就是影响判断的重要组成部分。

3.改变组成要素（基于Gradient）

这种方法需要采用Saliency Map(显著图)进行可视化，它的核心思想是通过改变我们的组成要素然后观察输出的变化，尽量令两者的比值越大，这样画出的显著图就越明亮，就能找到真正的核心组成部分
在这里插入图片描述
但这种方法会有一个很大的问题就是我们的梯度饱和:当一个组成特征的显著特点过大时，就会产生信息冗余，就是怎么变化，输出都不会改变了，那么梯度就会变为0，这样反而无法判断这一个显著特点过大的特征。
在这里插入图片描述
同时，这种方法禁不起被恶意攻击后的模型，当模型被恶意攻击后，将会融入噪声，这种噪声会产生奇怪的结果。

三、Global Explanation(全局可解释性)

1.什么是全局可解释性?

刚刚的局部可解释性是让输出找出影响最大的一个组成成分，而全局可解释性则将关注点放在了输入，我们需要知道最大概率输出的时候，反推回输入应该是一个什么样的东西。

2.如何实现全局可解释性?

  1. 以CNN为例，我们最后会得到一个y的输出，通过这个公式就能找到相应的输入。 X ∗ = arg ⁡ max ⁡ x ∑ i ∑ j a i j X^*=\arg \max_x \sum_i \sum_j a_{ij} X∗=argxmax​i∑​j∑​aij​
    在这里插入图片描述
  2. 但是我们发现这样形成的输入X很相似，人眼无法很好的识别，这种情况我们需要正则化，这样我们人眼就能很清晰地进行识别了。

在这里插入图片描述

四、LIME(Local Interpretable Model-Agnostic Explanations)

1.为什么要使用LIME?

  1. 虽然我们使用线性模型不能很好地实现深度学习的网络，但是我们可以使用线性模型去解释其中一个局部区域，这是因为线性模型计算量小，解释性强。
  2. LIME的局部保真度很好，在局部特征中能够很好地拟合复杂模型的效果
  3. 这里所指的是与复杂模型无关，换句话说无论多复杂的模型，像是SVM或神经网络，该解释器都可以工作。

2.LIME的算法步骤

input为x，output为y，都是一维的，表示Black Box中x和y的关系。

  1. 首先给出想要解释的point ，代入black box里面
  2. 选取point x附近的点 :将图像分割成一个个小块，作为单位进行分析，随机删除一些小块，构成不同的样本，然后输入到黑盒当中，得到识别出图片特征的可能性。
  3. 用线性模型对选取的点进行拟合
  4. 解释线性模型，也就解释了原来的NN 在这部分区域的行为

在这里插入图片描述

总结

由于本节内容比较简单，所以没有留下思维导图，这节内容虽然是科普类内容，但是对于我们深挖深度学习模型的背后还是有很大帮助的。

Ali forever
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
DIG:图深度学习研究库
03-30
DIG：Dive into Graphs是用于图深度学习研究的交钥匙库。 刘猛*，罗有志*，王丽梅*，谢耀晨*，郝媛*，桂树瑞，赵旭，于海阳，张敬屯，刘毅，严克强，波拉·奥兹特金，刘浩然，张璇，丛聪，和水王姬 为什么选择DIG？ 当前图深度学习库（例如PyTorch Geometric（PyG）和深度图库（DGL））的主要区别在于，尽管PyG和DGL支持基本图深度学习操作，但DIG为更高层次的研究提供了统一的测试平台，面向图的深度学习任务，例如图生成，自我监督学习，可解释性和3D图。 如果您正在工作或计划从事图深度学习的研究，DIG使您能够在我们可扩展的框架内开发自己的方法，并使用常见的数据集和评估指标与当前的基线方法进行比较，而无需付出额外的努力。 概述 它包括数据接口，通用算法和几个高级任务的评估指标的统一实现。 我们的目标是使研究人员能够轻松实现算法并对其进行基准测试。 目前，我
机器学习-25-Explainable ML(可解释机器学习)
迷雾总会解
12-19 584
所谓的可解释性其实也分为两种，一种是局部可解释性，一般指的是机器说明如何判断这个样例(例如分类问题中，机器如何将一张猫的图片分成猫)；另一种是全局可解释性，一般指的是机器如何对总体进行特征判断(例如分类问题中，机器认为猫长什么样子) 为什么我们需要这种可解释性呢？神经网络一般都是黑盒算法这确实，但并不是黑盒本身让我们难受，因为我们人的大脑也是个黑盒；而是如果我们没有一定的解释的话，我们可能会不爽。就例如一个神经网络来计算成绩，如果你分低还不知道为什么，那绝对会不爽，而如果机器能够解释每道题扣了多少分这种等
2020年机器学习深度学习下载地址.txt
06-26
李宏毅2020机器学习深度学习 P1. Machine Learning 2020_ Course Introduction P2. Rule of ML 2020 P3. Regression - Case Study P4. Basic Concept P5. Gradient Descent_1 P6. Gradient Descent_2 P7. Gradient Descent_3 P8. Optimization for Deep Learning 1_2 选学 P9. Optimization for Deep Learning 2_2 选学 P10. Classification_1 P11. Logistic Regression P12. Brief Introduction of Deep Learning P13. Backpropagation P14. Tips for Training DNN P15. Why Deep- P16. PyTorch Tutorial P17. Convolutional Neural Network P18. Graph Neural Network 1_2 选学 P19. Graph Neural Network 2_2 选学 P20. Recurrent Neural Network Part I P21. Recurrent Neural Network Part II P22. Unsupervised Learning - Word Embedding P23. Transformer P24. Semi-supervised P25. ELMO, BERT, GPT P26. Explainable ML 1_8 P27. Explainable ML 2_8 P28. Explainable ML 3_8 P29. Explainable ML 4_8 P30. Explainable ML 5_8 P31. Explainable ML 6_8 P32. Explainable ML 7_8 P33. Explainable ML 8_8 P34. More about Explainable AI 选学 P35. Attack ML Models 1_8 P36. Attack ML Models 2_8 P37. Attack ML Models 3_8 P38. Attack ML Models 4_8 P39. Attack ML Models 5_8 P40. Attack ML Models 6_8 P41. Attack ML Models 7_8 P42. Attack ML Models 8_8 P43. More about Adversarial Attack 1_2 选学 P44. More about Adversarial Attack 2_2 选学 P45. Network Compression 1_6 P46. Network Compression 2_6 P47. Network Compression 3_6 P48. Network Compression 4_6 P49. Network Compression 5_6 P50. Network Compression 6_6 P51. Network Compression 1_2 - Knowledge Distillation .flv P52. Network Compression 2_2 - Network Pruning 选学 P53. Conditional Generation by RNN & Attention P54. Pointer Network P55. Recursive P56. Transformer and its variant 选学 P57. Unsupervised Learning - Linear Methods P58. Unsupervised Learning - Neighbor Embedding P59. Unsupervised Learning - Auto-encoder P60. Unsupervised Learning - Deep Generative Model Part.flv P61. Unsupervised Learning - Deep Generative Model Part.flv P62. More about Auto-encoder 1_4 P63. More about Auto-encoder 2_4 P64. More about Auto-encoder 3_4 P65. More about Auto-encoder 4_4 P66. Self-supervised Learning 选学 P67. Anomaly Detection 1_7 P68. Anomaly Detection 2_7 P69. Anomaly Detection 3_7 P70. Anomaly Detection 4_7 P71. Anomaly Detection 5_7 P72. Anomaly Detection 6_7 P73. Anomaly Detection 7_7 P74. More about Anomaly Detection 选学 P75. Generative Adversarial Network1_10 P76. Generative Adversarial Network2_10 P77. Generative Adversarial Network3_10 P78. Generative Adversarial Network4_10 P79. Generative Adversarial Network5_10 P80. Generative Adversarial Network6_10 P81. Generative Adversarial Network7_10 P82. Generative Adversarial Network8_10 P83. Generative Adversarial Network9_10 P84. Generative Adversarial Network10_10 P85. SAGAN, BigGAN, SinGAN, GauGAN, GANILLA, NICE-GAN（选学.flv P86. Transfer Learning P87. More about Domain Adaptation 1_2 选学 P88. More about Domain Adaptation 2_2 选学 P89. Meta Learning – MAML 1_9 P90. Meta Learning – MAML 2_9 P91. Meta Learning – MAML 3_9 P92. Meta Learning – MAML 4_9 P93. Meta Learning – MAML 5_9 P94. Meta Learning – MAML 6_9 P95. Meta Learning – MAML 7_9 P96. Meta Learning – MAML 8_9 P97. Meta Learning – MAML 9_9 P98. More about Meta Learning 选学 P99. More about Meta Learning 选学 P100. Life Long Learning 1_7 P101. Life Long Learning 2_7 P102. Life Long Learning 3_7 P103. Life Long Learning 4_7 P104. Life Long Learning 5_7 P105. Life Long Learning 6_7 P106. Life Long Learning 7_7 P107. Deep Reinforcemen Learning3_1 P108. Deep Reinforcemen Learning3_2 P109. Deep Reinforcemen Learning3_3 P110. RL Advanced Version_1_Policy Gradient P111. RL Advanced Version_2_ Proximal Policy Optimizatio.flv P112. RL Advanced Version_3_Q-Learning P113. RL Advanced Version_4_Q-Learning Advanced Tips P114. RL Advanced Version_5_Q-Learning Continuous Action.flv P115. RL Advanced Version_6_Actor-Critic P116. RL Advanced Version_7_Sparse Reward P117. RL Advanced Version_8_Imitation Learning
深度学习技术在医疗图像诊断中有什么样的应用
07-07
本文依托于综述性文章，首先回顾了可解释性方法的主要分类以及可解释深度学习在医疗图像诊断领域中应用的主要方法。然后，结合三篇文章具体分析了可解释深度学习模型在医疗图像分析中的应用。作为一种领先的人工智能方法，深度学习应用于各种医学诊断任务都是非常有效的，在某些方面甚至超过了人类专家。其中，一些计算机视觉方面的最新技术已经应用于医学成像任务中，如阿尔茨海默病的分类、肺癌检测、视网膜疾病检测等。但是，这些方法都没有在医学领域中得以广泛推广，除了计算成本高、训练样本数据缺乏等因素外，深度学习方法本身的黑盒特性是阻碍其应用的主要原因。   尽管深度学习方法有着比较完备的数学统计原理，但对于给定任务的知识表征学习尚缺乏明确解释。深度学习的黑盒特性以及检查黑盒模型行为工具的缺乏影响了其在众多领域中的应用，比如医学领域以及金融领域、自动驾驶领域等。在这些领域中，所使用模型的可解释性和可靠性是影响最终用户信任的关键因素。由于深度学习模型不可解释，研究人员无法将模型中的神经元权重直接理解/解释为知识。   此外，一些文章的研究结果表明，无论是激活的幅度或选择性，还是对网络决策的影响，都不足以决定一个神经元对给定任务的重要性［2］，即，现有的深度学习模型中的主要参数和结构都不能直接解释模型。因此，在医学、金融、自动驾驶等领域中深度学习方法尚未实现广泛的推广应用。可解释性是指当人们在了解或解决一件事情的过程中，能够获得所需要的足够的可以理解的信息。深度学习方法的可解释性则是指能够理解深度学习模型内部机制以及能够理解深度学习模型的结果。关于“可解释性”英文有两个对应的单词，分别是“Explainability”和“Interpretability”。这两个单词在文献中经常是互换使用的。一般来说，“Interpretability”主要是指将一个抽象概念（如输出类别）映射到一个域示例（DomainExample），而“Explainability”则是指能够生成一组域特征（DomainFeatures），例如图像的像素，这些特征有助于模型的输出决策。   本文聚焦的是医学影像学背景下深度学习模型的可解释性（Explainability）研究。可解释性在医学领域中是非常重要的。一个医疗诊断系统必须是透明的（transparent）、可理解的（understandable）、可解释的（explainable），以获得医生、监管者和病人的信任。理想情况下，它应该能够向所有相关方解释做出某个决定的完整逻辑。公平、可信地使用人工智能，是在现实世界中部署人工智能方法或模型的关键因素。   本文重点关注可解释深度学习方法在医疗图像诊断中的应用。由于医学图像自有的特点，构建用于医疗图像分析的可解释深度学习模型与其它领域中的应用是不同的。本文依托于综述性文章，首先回顾了可解释性方法的主要分类以及可解释深度学习在医疗图像诊断领域中应用的主要方法。然后，结合三篇文章具体分析了可解释深度学习模型在医疗图像分析中的应用。
机器学习可解释性
围城
05-08 414
20210508 - （随笔，后续有时间在对概念有了深入理解之后再进行整理） 0. 引言 今天不想写论文，就想起了之前关注的一个内容，机器学习的可解释性。在之前的时候，或多或少了解这个东西，发现他更多的是从特征的角度来解释，这个特征怎么影响了模型。但是我一直理解不了的就是，这个概念跟以往机器学习中的特征选择又有什么区别。 今天看了一些文章之后，感觉似懂非懂；但是本质上还是没有解决这个关键疑惑。但是他们两者肯定是有不同的，不然也不可能看了这么多文章之后都没有提到。可能是我理解的角度不太准确。 1. 参考的文章
模型可解释性-LIME
数据掘金
09-08 9708
模型可解释性 LIME的原理 LIME的想法很简单, 我们希望使用简单的模型来对复杂的模型进行解释. 这里简单的模型可以是线性模型, 因为我们可以通过查看线性模型的系数大小来对模型进行解释. 在这里,LIME只会对每一个样本进行解释(explain individual predictions). LIME会产生一个新的数据集(这个数据集我们是通过对某一个样本数据进行变换得到), 接着在这个新的数据集上, 我们训练一个简单模型(容易解释的模型),我们希望简答模型在新数据集上的预测结果和复杂模...
机器学习可解释性一（LIME）
chj65的博客
02-26 3335
对于机器学习的用户而言，模型的可解释性是一种较为主观的性质，我们无法通过严谨的数学表达方法形式化定义可解释性。通常，我们可以认为机器学习的可解释性刻画了“人类对模型决策或预测结果的理解程度”，即用户可以更容易地理解解释性较高的模型做出的决策和预测。从哲学的角度来说，为了理解何为机器学习的可解释性，我们需要回答以下几个问题：首先，我们应该如何定义对模型的“解释”，怎样的解释才足够好？许多学者认为，要判断一个解释是否足够好，取决于这个解释需要回答的问题是什么。
李宏毅机器学习笔记(十八)——可解释性机器学习
Unique13的博客
08-31 1968
文章目录一.可解释的概念和意义二.局部可解释性1.移除组成要素2.改变组成要素3.局限性三.全局可解释性1.反向寻找理想输入2.输入正则化   前言：老师的课程中强调了课上举的例子都与图像相关，其实其他领域也是同理的。 一.可解释的概念和意义   所谓的可解释性其实也分为两种，一种是局部可解释性，一般指的是机器说明如何判断这个样例(例如分类问题中，机器如何将一张猫的图片分成猫)；另一种是全局可解释性，一般指的是机器如何对总体进行特征判断(例如分类问题中，机器认为猫长什么样子)   为什么我们需要这种可解释性
模型解释性:Lime包的使用
读万卷书 行万里路
02-06 2460
对于每一个输入实例，LIME首先利用该实例以及该实例的一组近邻数据训练一个易于解释的线性模型来拟合待解释模型的局部边界，然后基于该线性模型解释待解释模型针对该实例的决策依据，其中，线性模型的权重系数直接体现了当前决策中该实例的每一维特征的重要性(可以只针对重要特征进行解释)。基于复杂数据挖掘方法构建的预测模型，通常存在“黑箱问题”，导致其可解释性与可利用性降低。是一类可解释的模型，即简单模型的一个集合；是可选的正则项，用于控制模型复杂度。可解释的简单模型(一般为线性模型)是扰动样本与预测样本。
学习笔记——可解释性的机器学习
Clichong
07-15 703
以下内容来源与李宏毅老师的课程。 文章目录一、Local Explanation:Explain the Decision1.Saliency Map二、GLOBAL EXPLANATION:EXPLAIN THE WHOLE MODEL1.Activation Minimization2.Constraint from Generator三、USING A MODEL TO EXPLAIN ANOTHER1.Local Interpretable Model-Agnostic Explanations (
计算机视觉和深度学习精选专题·速查卡片集 / Selected Topics in CV & DL @ShowMeAI研究中心
12-29
本系列速查表包含 200 多张知识卡片，分为『计算机科学』『机器学习』『计算机视觉和深度学习基础』『计算机视觉和深度学习精选专题』4个主题，用以回顾多年的 ML 研究、课程和学习中的所有内容，并为机器学习工程师...
aaai_2020_xai_tutorial_Explainable AI.pdf
01-10
AI模型可解释性是当前非常火爆的领域，本资料是AAAI 2020 tutorial的PPT，内容非常丰富，值得学习
LIME算法：模型的可解释性（代码实现）
热门推荐
weixin_42347070的博客
05-12 2万+
在这篇笔记中分享前段时间我对于LIME算法的调研。 ** 一、算法简介 ** LIME算法是Marco Tulio Ribeiro2016年发表的论文《“Why Should I Trust You?” Explaining the Predictions of Any Classifier》中介绍的局部可解释性模型算法。该算法主要是用在文本类与图像类的模型中。 1.算法主要用途 在算法建模过程中，我们一般会用测试集的准确率与召回率衡量一个模型的好坏。但在和客户的实际沟通时，单单抛出一个数字就想要客户信任我
李宏毅机器学习-explainable machine learning（机器学习的可解释性）及代码
iwill323的博客
10-30 774
explainable machine learning（机器学习的可解释性） Local Explanation Global Explanation
解读可解释性机器学习：理解解释性基准模型（EBM）
qq_54000767的博客
11-18 1115
近年来，随着机器学习模型的复杂性不断增加，研究人员和从业者对模型的可解释性提出了更高的要求。可解释性机器学习（Explainable Machine Learning, XAI）成为了一个备受关注的研究领域，旨在提高模型的透明度，以便更好地理解模型的决策过程。在众多可解释性方法中，解释性基准模型（Explainable Boosting Machine, EBM）凭借其独特的优势逐渐崭露头角。
预测模型可解释性：几种十分常用的可解释性方法！
知识搬运者
04-07 1086
全局可解释性除了常用的importance和SHAP技术外，还有这种排列重要性（permutation importance），这种技术的好处与上面一样，即不认模型，无论是简单或复杂模型，都能给出重要性。这种可解释性最常见，也是最好用的，即在python或R语言中，模型都有自带的importance属性，尤其是"树类模型"。可解释性技术这么多，选择不同方法结果也往往不多，因此，可以都试试，或许能发现一些意想不到的结果。对于可解释性，应该不会陌生，但是，要往深入的说，这里头名堂可不少。
【论文阅读】LIME概要及代码案例
IMPORT_JAVA_UTIL的博客
01-26 1713
LIME (Local Interpretable Model-agnostic Explanations)：一种新颖的解释技术，通过在预测周围局部学习一个可解释模型，以一种可解释的和可信赖的方法来解释任何分类器的预测。
Pytorch 实现情感分析
hawk2014bj的博客
05-07 286
情感分析是 NLP 一种应用场景，模型判断输入语句是积极的还是消极的，实际应用适用于评论、客服等多场景。情感分析通过 transformer 架构中的 encoder 层再加上情感分类层进行实现。准备训练数据、测试数据，去掉空格以及标点符号，由于是英文数据，通过空格进行分词。创建两种类型的数据，TEXT：输入的评论，LABEL：类型标签。载入已经选练好的 fasttext 模型，并根据模型创建词汇表。需要安装 Poytorch NLP 相关依赖。创建 Transformer 模型。下载预训练的英文模型。
【深度学习】优化算法：从梯度下降到Adam
最新发布
richard_yuu的博客
05-08 830
在深度学习中，优化算法的目标是最小化（或最大化）一个损失函数，该函数通常用于衡量模型预测与实际数据之间的差异。为了实现这一目标，我们需要调整神经网络的参数，使损失函数达到最小。这一过程的核心在于优化算法的选择。一阶优化算法和二阶优化算法。一阶优化算法主要利用损失函数的一阶导数（梯度）来更新模型参数，而二阶优化算法则利用二阶导数（Hessian矩阵）来加速优化过程。由于二阶导数计算复杂且计算量大，因此在实际应用中，一阶优化算法更为常见。优化算法是深度学习中的核心技术之一。
Why we need Explainable ML?中文翻译并回答问题
06-12
"Why we need Explainable ML?" 的中文翻译是 "我们为什么需要可解释的机器学习？" 我们需要可解释的机器学习，因为随着机器学习应用的增加，我们需要更好地理解和信任模型所做的决策。可解释的机器学习可以帮助...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ali forever

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值