MIT-6874-Deep Learning in the Life Sciences Week 7

最新推荐文章于 2024-06-13 09:54:20 发布
最新推荐文章于 2024-06-13 09:54:20 发布
阅读量405 收藏
点赞数
分类专栏： DL in life science 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37678226/article/details/125585050
版权

Lecture 05 Interpretable Deep Learning

可解释性深度学习

本节讨论的是深度学习的可解释性。模型本身意味着知识，可解释性对于如深度学习这样的“黑盒模型”而言，是解释其为何做出如此判断的原因和方法的根本所在，能够帮助模型朝着人类预期的方向工作。在许多场景，如推荐、医疗等场景有很大的应用前景。

以下是本节课的提纲
在这里插入图片描述

一、Intro to Interpretability

1a. Interpretability definition: Convert implicit NN information to human-interpretable information

在这里插入图片描述

1b. Motivation: Verify model works as intended; debug classifier; make discoveries; Right to explanation

Why Interpretability?

  • 1.Verify that model works as expected: Wrong decisions can be costly and dangerous
  • 2. Improve / Debug classifier
    在这里插入图片描述
  • 3. Make new discoveries
  • 4.Right to explanation
    “Right to be given an explanation for an output of the algorithm”

1c. Ante-hoc (train interpretable model) vs. Post-hoc (interpret complex model; degree of “locality”)

知乎好文：可解释AI的调研
事后解释VS自解释

获得模型可解释性的两种方法（即可解释性的分类）

  • Ante-hoc & Post-hoc

在这里插入图片描述

1. Ante-hoc 可解释性——事先可解释性（模型内置可解释性）

通过训练一个自认具有可解释的模型，以获得对结果的解释。

常见的可解释模型：

  • 朴素贝叶斯
  • 线性回归
  • 决策树
  • 基于规则的模型

但是这类模型可达的复杂程度有限，从而导致其根本上的性能受限

2. Post-hoc Interpretability——事后可解释性

指对于黑盒模型，通过某些方法，体现出他的决策逻辑

在这里插入图片描述

可解释性的几个级别：

  • 模型级别的可解释：DNN模型为什么要如此决定决策边界
  • 特征的可解释性：哪一部分特征能最大化的激活当前的模型
  • 走向单个个体的可解释：解释为何这个输入会被如此分类

在这里插入图片描述
在这里插入图片描述

2. Interpreting Deep Neural Networks

2a. Interpreting Models (macroscopic, understand internals) vs. decisions (microscopic, practical applications)

（课程走向）模型可解释性的几种分类

  • Interpreting decisions:
    • Attribution method: 什么属性决定了模型当前的输出
    • Example-based: 什么特殊的案例导致模型当前的输出
  • Interpreting models:
    • Representation analysis: 模型表示本身
    • Data generation：如何使用模型生成数据
    • Example-based：相关案例
      在这里插入图片描述
      DNN interpretability 可以分为宏观和微观两个层面
      在这里插入图片描述

Interpreting models 又可以分为以下四个方面，其中 对于表示的分析可以分为权重可视化和代理模型

在这里插入图片描述

2b. Interpreting Models: Weight visualization, Surrogate model, Activation maximization, Example-based

1. Weight visualization 权重可视化

对CNN的每一层滤波器进行可视化，以理解模型在当前层在学习什么东西
在这里插入图片描述

2. Surrogate model 代理模型

使用一个简单的，“可解释的”模型来“summarize”模型的 输出，试图解释“black box”的输出。
在这里插入图片描述

3. Data Generation / Activation maximization 数据生成 / 激活最大化

激活最大化：找到最大程度激活神经元的方式，即找到输入X，使模型在当前类别下的概率最大
在这里插入图片描述
在这里插入图片描述
模型的卷积与解卷积
在这里插入图片描述
刚开始的输入是混沌的，随着训练层数的增加，渐渐可以分辨数字之间的特征
在这里插入图片描述

优点：这种做法的优点和缺点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • DNN可以通过寻找输出量最大化的输入模式来解释。
  • 与数据连接可以提高可视化的可解释性。
    在这里插入图片描述

4. Example-based

在这里插入图片描述

小结：

  • 通过将每层权重可视化
  • 替代准确性不高但可解释性强的模型
  • 在某种程度上通过最大化激活函数获得有用的特征/信息
  • 通过有效构造prototype和criticism，指导模型学习获取该类别下最有用的，用于区分的信息

2c. Interpreting Decisions:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Example-based

输入的训练样本对模型的结果产生决定性的影响
在这里插入图片描述

Attribution Methods: why are gradients noisy?

给每个像素值一个因果分数，即当前像素对模型给这个结果起到了多大的作用。
在这里插入图片描述
将归因可视化后的结果
在这里插入图片描述

关键是，构建（特征）显著图（Saliency Map）
在这里插入图片描述
提升saliency map的方法，首先：思路转变
在这里插入图片描述
假设1: saliency map是真实的

  • 图像中随机分布的某些像素对网络如何做出决定至关重要。
  • 噪音很重要
    在这里插入图片描述
    假设2: 梯度是不连续的
  • DNN使用分段线性函数(ReLU激活，max-pooling等)。
  • 重要性分数在输入的无穷小变化上的突变跳跃。
    在这里插入图片描述
    假设3:
  • 一个特征可能会在全球范围内产生强大的影响，但在局部却会产生很小的影响
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    其他的归因方法
    在这里插入图片描述

Gradient-based Attribution: SmoothGrad, Interior Gradient

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Backprop-based Attribution: Deconvolution, Guided Backpropagation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 观察:移除更多的梯度会带来更清晰的视觉效果

在这里插入图片描述

Evaluating Attribution Methods

在这里插入图片描述

3a. Qualitative: Coherence: Attributions should highlight discriminative features / objects of interest

  • 归因应基于区别性特征 在这里插入图片描述

3b. Qualitative: Class Sensitivity: Attributions should be sensitive to class labels

  • 归因应该是类别敏感的
    在这里插入图片描述

3c. Quantitative: Sensitivity: Removing feature with high attribution --> large decrease in class probability

  • 移除属性高的特征会导致类概率大幅下降
    在这里插入图片描述

3d. Quantitative: ROAR & KAR. Low class prob cuz image unseen --> remove pixels, retrain, measure acc. drop

在这里插入图片描述

木姑娘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习的可解释性（总结）
ilalaaa的博客
07-18 1万+
目录背景什么是可解释性可解释性的分类ante-hoc可解释性post-hoc可解释性可解释性与安全性展望解释方法设计解释方法评估 论文 机器学习模型可解释性方法、应用与安全研究综述. 背景 近年来,机器学习在计算机视觉、自然语言处理、语音识别等多个领域取得了巨大的成功，机器学习模型也被广泛地应用到一些重要的现实任务中，如人脸识别、自动驾驶、恶意软件检测 和智慧医疗分析等。 然而，由于机器学习缺乏可解释性，在应用方面受到许多制约。例如DNN模型，就如同一个黑盒，给予一个输入，得到一个决策结果，但是我们无法确切
1.基于深度学习的知识追踪研究进展_刘铁园
weixin_45774904的博客
08-09 1795
基于深度学习的知识追踪研究进展
论文阅读：机器学习模型可解释性方法、应用与安全研究综述
weixin_45251621的博客
05-12 1488
机器学习模型的可解释性 近日阅读了一篇讲述可解释性的中文综述文章机器学习模型可解释性方法、应用与安全研究综述，对模型可解释性的相关知识有了进一步的了解。本文是阅读这篇综述的一些笔记以内容摘要。 0 引言 背景：虽然机器学习和人工智能技术在人脸识别、自动驾驶、恶意软件检测和智慧医疗分析等领域得到了广泛的应用，但大多数情况下机器学习模型尤其是深度神经网络如同黑盒一般，人们无法确切地知道模型背后的决策依据是什么，也无法保证决策的可靠性。缺乏可解释性称为机器学习在现实任务中的进一步发展和应用的主要障碍之一。 本文的
对抗样本(论文解读十三):机器学习模型可解释性方法、应用与安全研究综述
Enjoy_endless
05-11 3910
机器学习模型可解释性方法、应用与安全研究综述 纪守领１　李进锋１ 杜天宇１ 李　博２ １（浙江大学计算机科学与技术学院网络空间安全研究中心　杭州　３１００２７） ２（伊利诺伊大学香槟分校计算机科学学院　美国伊利诸伊州厄巴纳香槟　６１８２２） 这是一篇中文核心期刊文章，收稿于2019-06-11，发表于计算机研究与发展。 这一篇文章总结的主要是模型的可解释性相关知识，但是同样涉及到了对抗样本相关的研究，所以对于对抗样本的相关攻防，同样具有比较大的参考价值。 文章介绍：在本文中，我们首先详细地阐述可解释性
MIT-6874-Deep Learning in the Life Sciences Week2
m0_37678226的博客
05-08 432
MIT-6874-Deep Learning in the Life Sciences Week2What is Machine LearningTraditional Neural NetworksHow can we use gradients for optimization?How can we use gradients to train a deep neural network?What performance metrics should we use?Improving generaliz
MIT-6.S094-Deep-Learning-for-Self-Driving-Cars
05-08
讲义及讲义这些是教授的 2018年课程的讲义和材料。
MIT-BIH心电数据库
06-27
MIT-BIH心电数据库，有dat和TXT两种格式，内含所有MITBIH标准心电数据所有数据，可直接下载，在做MATLAB心电波形实验时可调用使用。
心律失常数据集mit-bih-arrhythmia-database-1.0.0
11-06
心律失常数据集mit-bih-arrhythmia-database-1.0.0
Deep Learning State of the Art in 2020【MIT-深度学习】.zip
02-17
本次讲座是关于深度学习的最新研究和发展，并希望在2020年。这不是一个SOTA基准测试结果的列表，而是一组机器学习和人工智能创新的亮点，以及学术界、工业界和整个社会的进步。
deep learning state of the art(MIT深度学习各领域最新突破PPT)
01-19
这是MIT系列课程之一，有关深度学习最新进展的讲座。包括BERT、特斯拉自动驾驶仪硬件中的大规模神经网络、AdaNet、AutoAugment、BigGAN等12大类。 本文所介绍的内容是MIT系列课程之一，是有关深度学习最新进展的...
MIT-6874-Deep Learning in the Life Sciences Week5
m0_37678226的博客
06-12 450
基因通过调控，表达不同的细胞类型，从而在人体内产生不同的器官。
【DataHub】 现代数据栈的元数据平台--如何快速验证所有组件容器都在正确的运行?
m0_54252387的博客
07-14 858
databub中的组件较多，并且都在docker 容器中运行，那么如何快速验证所有组件容器都在正确的运行呢？本文提供如下3类检查方式最后针对检查出的常见问题，提供解决方案。如果安装了datahub CLI工具，可以使用内置的检查工具:此工具检查步骤如下： 查看最新的10行日志，看日志是否有报错信息 3. 检查组件数据初始化是否正常？ 3.1. 检查MXE Kafka topics是否创建？ 3.1.1.使用kafka内置命令查看 确认MetadataChangeEvent、MetadataAuditE
MIT-6874-Deep Learning in the Life Sciences Week6
m0_37678226的博客
06-21 548
本节课针对深度学习在调控基因组学（Regulatory Genomics）之中的应用进行讲述。首先介绍基因调控构建的基础模块，然后介绍了传统的基因调控以及主成分分析方法。随后介绍了CNN和DNN在调控基因组学的应用。还有客座教授分享了其将深度学习用于Hi-C looping之中的工作。...
MIT-6874-Deep Learning in the Life Sciences Week 8
m0_37678226的博客
07-16 313
本节课将带来基因表达和剪切相关内容的学习，首先介绍了基因测序以及表达的基本概念，并粗浅的介绍了深度学习可以做的事提示以下是本篇文章正文内容，下面案例可供参考。
MIT-6874-Deep Learning in the Life Sciences Week1
m0_37678226的博客
04-30 292
MIT-6874-Deep Learning in the Life Sciences Week1Week1 IntroWhy deep learning in life scienceWhy computational BiologyIntro to Machine Learning==机器学习推理的基本理论：贝叶斯原理==Classification and clusteringIntro to GenomicsWhere to make in progress? Week1 Intro Why de
A Survey on Neural Network Interpretability (神经网络的可解释性研究综述)
Wendy_WHY_123的博客
03-14 2619
A Survey on Neural Network Interpretability摘要Ⅰ 引言Ⅱ 引言Ⅲ 引言Ⅳ 引言Ⅴ 引言 作者：Yu Zhang, Peter Tino, Ale s Leonardis, and Ke Tang 翻译：Wendy 摘要   随着神经网络的巨大成功，人们对其黑匣子的性质也越来越关注。神经网络的可解释性影响着人们对深度学习系统的信赖。它也与许多道德问题有关，例如算法歧视。此外，可解释性是深度神经网络成为其他领域（例如药物研发和基因组学）中强大工具的重要属性。在这篇综述
机器学习术语表
Python技术博文
03-01 1087
ROM:Google发布本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。AA/B 测试 (A/B testing)一种统计方法，用于将两种或多种技术进行比较，通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好，而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较，但也适用于任意有限数量的技术
【机器学习基础】超全汇总！机器学习常用术语词汇表（建议收藏）
fengdu78的博客
11-12 2134
刚接触机器学习框架 TensorFlow 的新手们，这篇由 Google 官方出品的常用术语词汇表，一定是你必不可少的入门资料！本术语表列出了基本的机器学习术语和 TensorFlow ...
基于注意力机制卷积神经网络结合门控单元CNN-GRU-SAM-Attention实现柴油机故障诊断附matlab代码
最新发布
算法如诗的博客
06-13 578
基于注意力机制卷积神经网络结合门控单元CNN-GRU-SAM-Attention实现柴油机故障诊断附matlab代码
dynamic locomotion in the mit cheetah 3 through convex model-predictive cont
10-23
“动态运动的MIT猎豹3通过凸模型预测控制技术进行” 动态运动是指在移动过程中具有快速且灵活的运动能力。MIT猎豹3是一种四足机器人，通过凸模型预测控制技术实现动态运动。 凸模型预测控制技术是一种通过优化来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值