一、导论——可解释性机器学习（DataWhale组队学习）

最新推荐文章于 2023-10-06 16:00:31 发布
最新推荐文章于 2023-10-06 16:00:31 发布
阅读量712 收藏 5
点赞数 1
分类专栏： 可解释性机器学习 深度学习 文章标签： 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46378251/article/details/128305962
版权

目录

导言

诺曼底登陆是一次巧妙的军事欺骗行为，利用一揽子欺骗计划赢得夺岛最佳时机，为战争胜利打下坚实基础。诺曼底登陆因此被称作“最大的军事欺骗”或“十大军事骗局之首”。在这里插入图片描述
  其中一条计划代号是卫士计划——“南方坚韧”之声东击西
  牵制住挪威，只是牵制住了德军一部分兵力，更重要的是进攻方向上的欺骗。盟军最终选择加来作为佯攻地点，在对岸多佛建立了第一集团军群的司令部，司令官是巴顿。战争前夕，他们开始大规模的建立营房、医院，弹药库，表面上看似十分逼真。该集团军人员共计3000名，其中2000名是发报人员，通过互传假情报欺骗德国电讯侦察人员。而有1000名是伪装人员，利用橡胶制作了大量的装备模型，坦克、飞机、大炮一应俱全，因此骗过了德军的空军侦察兵。由于巴顿在西西里岛战役中的出色表现，让德军误以为加来是盟军的主攻方向。
  到了60年代人工智能出现了，美国军方想利用神经网络来识别照片中的坦克是真坦克，在美国军方的测试集中有99%的准确率，但是在实际应用中的效果很差。造成这个结果的原因大家众说纷纭，神经网络就像一个黑箱子，没有人知道它究竟是怎么工作的，这正是可解释人工智能要解决的问题。

一、什么是可解释人工智能?

人工智能黑箱子灵魂之问

  • Al的脑回路是怎样的? Al如何做出决策?是否符合人类的直觉和常识?
  • Al会重点关注哪些特征，这些特征是不是真的有用?
  • 如何衡量不同特征对Al预测结果的不同贡献?
  • Al什么时候work,什么时候不work ?
  • AI有没有过拟合?泛化能力如何?
  • 会不会被黑客误导，让AI指鹿为马?
  • 如果样本的某个特征变大15，会对Al预测结果产生什么影响?
  • 如果Al误判，为什么会犯错?如何能不犯错?
  • 两个AI预测结果不同，该信哪一-个?
  • 能让AI把学到的特征教给人类吗?
    在这里插入图片描述
      无论是AI绘画还是最近大火的ChatGPT，我们只知道它们的效果很好，但是我们还是无法知道模型能表现这么好的原因。从上图我们可以看出AI绘画有时候生成的图片是看似合理但是经不起推敲的。
    在这里插入图片描述

  可解释性就是希望寻求对模型工作机理的直接理解,打破人工智能的黑盒子。

二、学可解释机器学习有什么用?

2.1学习可解释机器学习的原因

  • 可解释性学习满足选择研究方向时的一下条件：

    • 尽可能通用，与其它研究方向交叉
    • 顺应主流发展趋势，长期存在且有用
    • 有高质量的数据集
    • 不过分小众，但也好发paper，没有疯狂内卷
    • 能应用到产业界垂直细分行业
    • 有商业应用价值，容易“讲故事’

  • 研究AI的脑回路，就是研究AI的本质。

  • 可解释分析是机器学习和数据挖掘的通用研究方法。

  • 和所有Al方向交叉融合:数据挖掘、计算机视觉、自然语言处理、强化学习、知识图谱、联邦学习。

  • 包括但不限于:大模型、弱监督、缺陷异常检测、细粒度分类、决策Al和强化学习、图神经网络、Al纠偏、Al for Science、 Machine Teaching、 对抗样本、可信计算、联邦学习。

2.2 Machine Teaching :人工智能教人类学习

  1. 用AI学习鸟类的分类，让AI教会人类学习
    在这里插入图片描述
  2. 用可视化的方法，让神经网络教会人类如何预测工艺参数
    在这里插入图片描述
  3. 绝艺围棋AI指导棋：围棋定式、招式
    在这里插入图片描述
  4. 铁路轨道伤损识别
    在这里插入图片描述
  5. AI作画：指导人类绘画（百度文心）
    在这里插入图片描述

2.3 细粒度图像分类

  1. 花和叶子的识别
    在这里插入图片描述

  2. 荔枝的类别识别
    在这里插入图片描述

  3. 类似的海洋生物的识别
    在这里插入图片描述

  4. 韩国女星的识别
    在这里插入图片描述

  5. 奥特曼识别
    在这里插入图片描述

  6. X光胸片的肺炎判定
    在这里插入图片描述

  7. 工业缺陷的类激活图：用分类问题解决定位问题
    在这里插入图片描述

  8. 生物医学、生物信息学、基因数据挖掘、蛋白质结构预测领域
    在这里插入图片描述

2.4前沿AI

  1. ChatGPT聊天机器人
    在这里插入图片描述

  2. AI绘画

  3. 大模型：用海量数据、海量算力、海量参数进行训练
    在这里插入图片描述

  4. 蛋白质的空间预测（要运用大模型）
    在这里插入图片描述

三、本身可解释性好的机器学习模型

本身可解释性好的机器学习模型：KNN（k-最近邻算法）、Logistic回归算法、线性回归算法、决策树、朴素贝叶斯
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、传统机器学习算法的可解释性分析

  1. 算法自带的可视化
  2. 算法自带的特征权重
  3. Permutation Importance置换重要度
  4. PDP图、ICE图
  5. Shapley值
  6. Lime
    在这里插入图片描述

算法性能和可解释能力的关系
在这里插入图片描述

五、卷积神经网络的可解释性分析

  • 可视化卷积核、特征图
  • 遮挡Mask、缩放、平移、旋转
  • 找到能使某个神经元激活的原图像素，或者小图
  • 基于类激活热力图(CAM) 的可视化
  • 语义编码降维可视化
  • 由语义编码倒推输入的原图
  • 生成满足某些要求的图像 (某类别预测概率最大)

5.1可视化卷积核、特征图

  每个卷积核提取不同的特征，每个卷积核对输入进行卷积，生成一个feature map，这个feature map即提现了该卷积核从输入中提取的特征，不同的feature map显示了图像中不同的特征。

  • 浅层卷积核提取:边缘、颜色、斑块等底层像素特征
  • 中层卷积核提取:条纹、纹路、形状等中层纹理特征
  • 高层卷积核提取:眼睛、轮胎、文字等高层语义特征

最后的分类输出层输出最抽象的分类结果
在这里插入图片描述

5.2遮挡Mask、缩放、平移、旋转

在这里插入图片描述

在这里插入图片描述

5.3找到能使某个神经元激活的原图像素，或者小图

在这里插入图片描述

5.4基于类激活热力图(CAM) 的可视化

在这里插入图片描述

5.5语义编码降维可视化

在这里插入图片描述

5.6由语义编码倒推输入的原图

在这里插入图片描述

5.7生成满足某些要求的图像 (某类别预测概率最大)

在这里插入图片描述

逃逸攻击可分为白盒攻击和黑盒攻击。白盒攻击是在已经获取机器学习模型内部的所有信息和参数上进行攻击，令损失函数最大，直接计算得到对抗样本;黑盒攻击则是在神经网络结构为黑箱时,仅通过模型的输入和输出，逆推生成对抗样本。下图左图为白盒攻击(自攻自受)，右图为黑盒攻击(用他山之石攻此山之玉)。
在这里插入图片描述
下面的图片就是一种快速梯度符号攻击，加了一部分噪声后，我们会发现，虽然人的判断还是正确的，但是人工智能的判断已经把pandas分类为gibbon长臂猿了。
在这里插入图片描述

六、总结

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

扩展阅读

子豪兄出品的可解释性分析代码：https://github.com/TommyZihao/Train_Custom_Dataset/图像分类
pytorch的可解释性分析库：
https://github.com/utkuozbulak/pytorch-cnn-visualizations
思考题
为什么要对机器学习、深度学习模型做可解释性分析和显著性分析 ?
如何回答“人工智能黑箱子灵魂之问” ?
人工智能的可解释性分析有哪些应用场景?
哪些机器学习算法本身可解释性就好?为什么?
对计算机视觉、自然语言处理、知识图谱、强化学习，分别如何做可解释性分析?
在你自己的研究领域和行业，如何使用可解释性分析?
可以从哪几个角度实现可解释性分析 ?
Machine Teaching有哪些应用场景 ?

卡拉比丘流形
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习7 -- 可解释学习
谢杨易的博客
09-01 1万+
1 为什么需要可解释学习 可解释学习是一个比较大的话题，本文也仅仅是抛砖引玉。深度学习大多数情况下，我们关注的都是模型的指标，如ACC、F1、Bleu等，一般较少关注模型的可解释性。深度学习模型是一个黑盒，模型结构和参数调整很多时候也是摸着石头过河，给模型可解释性带来了很大难题。什么是模型可解释性呢？它一般分为两类情况 local explanation，为什么这个样本被预测为某个类别。比如为什么imageNet的这张图片会被预测为猫？我们需要弄清楚图片中哪些关键像素和区域，能够很大程度决定分类类别。 g
DataWhale机器学习高级算法梳理Day1-随机森林
lightis_tian的博客
08-07 283
1. 集成学习 集成学习（Ensemble learning）通过构建多个学习器来完成学习任务，有时也被称为多分类器系统，基于委员会的学习等等。结构如下： 个体学习器通常由一个现有的学习算法从训练数据中产生。 集成中只包含同种类型的个体学习器叫同质学习器，也叫基学习器，相应的算法被称为基学习算法。 对应包含不同类型的个体学习器的集成，叫异质学习器，由不同的学习算法组成。此时，集成里的个体学习器被称...
可解释性机器学习
平平淡淡，戒急用忍，一生学闭嘴。
07-30 1140
开发一个机器学习模型是任何数据科学家都期待的事情。我遇到过许多数据科学研究，只关注建模方面和评估，而没有解释。 然而，许多人还没有意识到机器学习可解释性在业务过程中的重要性。以我的经验，商业人士希望知道模型是如何工作的，而不是度量评估本身。 这就是为什么在这篇文章中，我想向大家介绍我的一些顶级机器学习可解释性 Python 工具包，有所收获，欢迎点赞分享。 我们开始吧！ 1、Yellowbrick Yellowbrick 是一个开源的 Python 包，它通过可视化分析和诊断工具扩展了 sciki
超详细的数据分析和机器学习路线图
算法channel
11-05 603
机器之心报道机器之心编辑部想从事人工智能领域的研究，盲目地在网上购买了一本又一本的参考资料，学习视频刷了一遍又一遍…… 反过头来看，这些方法可能作用并不是很大，却消耗了大量的时间和金钱。...
DataWhale深度学习第三章 -- 机器学习基础
Zhou_Yulong的博客
11-20 420
文章目录DataWhale深度学习第三章 -- 机器学习基础机器学习基础机器学习分类数据集误差分析有监督学习线性回归逻辑回归支持向量机决策树随机森林无监督学习聚类前馈神经主要内容神经元模型神经元结构感知器BP算法基本过程激活函数 DataWhale深度学习第三章 – 机器学习基础 courseLink: https://datawhalechina.github.io/unusual-deep-learning/#/README 机器学习基础 机器学习分类 有监督学习(SupervisedLearni
《机器学习导论》干货笔记
10-18
《机器学习导论》干货笔记概述 机器学习是人工智能领域的一个重要分支，它涉及通过让计算机从数据中学习规律和模式来实现自动化预测和决策。本笔记深入探讨了监督学习和非监督学习这两种主要的学习方式，并从算法的...
人工智能导论：第四章 机器学习
05-09
"人工智能导论：第四章 机器学习" 本章节主要讲解机器学习的基本概念和方法。机器学习是人工智能的一个重要分支，通过对数据的学习和分析，使得计算机系统能够提高性能和改进决策。 机器学习的定义是：如果一个...
人工智能导论-机器学习
01-15
深度学习是机器学习的一个分支，借鉴了人脑神经网络的结构，通过多层非线性变换对复杂数据进行建模，尤其在图像识别、语音识别和自然语言处理等方面表现出色。 1.1.3 神经网络 神经网络是模仿生物神经元网络构建的...
机器学习导论资料
11-07
《机器学习导论》是一本深入探讨机器学习理论与实践的综合资料，涵盖了人工智能领域的重要分支——机器学习的基础知识、核心算法以及应用实例。在这个压缩包中，包含的文件是"机器学习导论资料"，这可能是一个文档、...
机器学习-推荐系统导论 Introduction to Recommender Systems
最新发布
07-01
机器学习 推荐系统导论 Introduction to Recommender Systems Machine Learning 专项课程 自然语言处理公开课(Natural Language Processing).zip 1.0GB 文本挖掘和分析 Text Mining and Analytics.zip 428.6MB ...
深度学习可解释性学习资料汇总
u013313168的专栏
02-27 3770
一、著名的大佬课题组 1、张拳石教授的知乎 张老师的知乎个人简介： I am leading a group for explainable AI. The related topics include explainable CNNs, explainable generative networks, unsupervised semanticization of pre-trained neu...
阅读笔记2： 深度学习可解释性学习：不要做事后解释
猿猿的小仓库
08-27 1300
选择可解释性高的机器学习模型， 而不是解释决策风险高的黑匣子模型 （原论文名：StopExplainingBlackBoxMachineLearningModelsforHighStakesDecisionsanduseInterpretableModelsInstead） 作者： Adrian Colyer, Venture Partner, Accel 论文下载地址：https://www.nature.com/articles/s42256-019-00...
可解释机器学习（Explainable/ Interpretable Machine Learning）的原理和应用（李宏毅视频课笔记）
双鸭山•克里菲斯•北方孤星之堕
08-02 3796
文章目录0 前言1 Introduction of Explainable/ Interpretable ML1.1 Why we need Explainable ML?1.2 Interpretable v.s. Powerful2 Local Explanation2.1 Introduction of Local Explanation2.1 Removing Way2.2 Modifying Way2.3 Limitation of Gradient based Approaches2.4 At
可解释的机器学习
AI 研习社的博客
07-02 7377
原文标题 |Interpretable Machine Learning 作者 |Parul Pandey 译者 |intelLigenJ（算法工程师）、鸢尾 编辑 | 王立鱼 原文链接： https://towardsdatascience.com/interpretable-machine-learning-1dec0f2f3e6b 图源Pexels的Pix...
深度学习的可解释性（二）
xinchennnn的博客
10-06 179
在过去的几十年里，神经网络已经开发出许多不同的架构，从简单的前馈网络到复杂的卷积网络等等。因此，神经网络和模糊系统的结合产生了神经模糊推理系统（NFIS），使得具有固有解释能力的人工智能系统的开发成为可能。前者是直观的，因为规则的结果是可以解释的。Lakkaraju 等人 (2016) 提出了可解释的决策集，这是一个基于规则的框架，旨在在结构中制定规则，而不是像决策列表那样的层次结构。尽管如此，我们今天认识的一些最早的学习算法被设计为生物学习的计算模型，或者学习如何在大脑中发生或可能发生的模型。
深度学习的可解释性（四）
xinchennnn的博客
10-06 156
首先，在深度学习中，需要考虑人类的角色，通常会改变可解释性的定义以适应人类，从而使解释的结果更好地帮助人类理解和推理。讨论各种形式的分类的目的是澄清IDL中模糊协议的概念，并为未来的研究奠定更正式的基础。首先，需要解释的“概念”可以是任何东西，从预测的类别到如何看待模型组件，再到潜在维度的含义。他们还声称，尽管开发了旨在解释神经网络的技术，但该策略可以应用于许多模型，类似于接下来讨论的策略的模型不可知行为。由于深度学习的可解释性仍然是一个发展中的领域，因此所提出的分类法既不是相互排斥的，也不是详尽无遗的。
可解释性机器学习：从入门到实战
林夕
12-18 8467
机器学习的巨大成功导致AI应用的爆炸式增长。 研究人员已经将AI用于了各种任务。 不断持续的进步有望产生一个自主系统，它能够感知，学习，做出决策和采取独立行动。 但是，这些系统如果无法向人类解释为何作出这样的决策，那么它们的有效性将会受到限制。如果用户要理解，信任和有效管理新兴的人工智能”合作伙伴“，那么可解释的AI将至关重要。
可解释的机器学习（一）：可解释性
hans_eight的博客
03-17 2021
可解释的机器学习（一）：可解释性 机器学习是基于数据做出和改进预测或行为的一套方法。 方法：数据采集-将这新信息输入机器学习算法-将新数据输入模型。 黑盒模型是一个不揭示其内部机制的系统。在机器学习中，“黑盒模型”或称“黑匣子”描述了通过查看参数（例如深度神经网络的参数）却无法理解的模型。黑盒的对立面有时被称为白盒，即为可解释模型。模型无关的解释方法将机器学习模型是为黑盒。 可解释的机器学习是指机器学习系统的行为和预测对人类可理解的方法和模型。 可解释性 可解释性是人们能够理解决策原因的程度。或是指人们能够

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卡拉比丘流形

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值