可解释性机器学习
文章平均质量分 83
更新人:18届会长 崔云龙
内容: 可解释性机器学习论文阅读与总结+思考
中南大学苹果实验室
中南大学苹果实验室在2014年由时任张校长主持,苹果公司和中南大学共同出资建立的第一个本科生实验室。指导老师为可亲可敬的鲁鸣鸣老师。苹果实验室本着小而精而又开放的理念,每年面向全计算机院招收6-8名主动性强、动手能力高、热爱计算机专业而又负责任的大二学生。实验室在计算机范畴内不硬性规定研究方向,鼓励成员在学长经验的加持下自由探索自己的兴趣爱好与方向,这也造就了届届相似而不同+多点开花的现状。我们营造着良好的实验室学习与生活的氛围,崇尚劳逸结合,坚持在保证专业素质过硬的同时不忘体验生活的乐趣。欢迎各位加入苹果实验室的大家庭。
展开
-
Shapley Explanation Networks
作者:18届 cyl日期:2021-08-15论文:《Shapley ExplanationNetworks》期刊:ICLR一、前提知识:Shapley ValueShapley Value起源于博弈论,n人合作,共创造了v(N)的价值,如何评估每个人的价值?通过计算每个人的Shapley value。公式:特点:可以评估一组特征的重要性计算复杂的是指数级别可以进行线性变换,对一个函数求了shapley值,如果函数再进行线性变换,可以通过对原shapley值进行线性变换求新的原创 2021-08-15 16:54:50 · 519 阅读 · 0 评论 -
Towords Open World Object Detection
作者:18届cyl时间:2021-08-15论文:《Towords Open World Object Detection》一、问题背景:1)测试图像可能包含来自未知类的对象,应该归类为未知。2)当有关这些已识别的未知数的信息(标签)可用时,模型应该能够逐步学习新的类。而不忘记先前学习的类。即Open world object detection过去未被标记的类会被明确地当做背景来训练,但是即使是最先进的分类器的假阳性率也非常高。二、解决方法:曾经有增量模型的研究来解决这个问题,本文则提出原创 2021-08-15 16:50:03 · 155 阅读 · 0 评论 -
Understanding the Role of Individual Units in a Deep Neural Networks(了解各个卷积核在神经网络中的作用)
作者: 18届 cyl日期:2021-08-15论文:《Understanding the Role of Individual Units in a Deep Neural Networks》期刊:PNAC一、背景:深度学习擅长寻找解决大型数据集上复杂任务的分层表示形式。而我们人类难以理解这些学习的表示,并尝试用一些可视化的方式来探索神经网络中到底学习到了啥。过去我们读到的论文虽然从最典型的ZFNet就发现层数越靠后学习到的特征越抽象。并也读到了三大可视化的方法:可视化特征图(各种)、可视化原创 2021-08-15 16:47:23 · 294 阅读 · 0 评论 -
PatternRecognitionLetters-Understanding trained CNNs by indexing neuron selectivity
作者:18届 cyl日期:2021-08-15论文:《PatternRecognitionLetters-Understanding trained CNNs by indexing neuron selectivity》一、总结通过为神经元赋予特定的属性来量化其挑选图像的能力,同时可以依靠这些属性来寻找特定的神经元。二、背景尽管卷积神经网络(CNN)在解决有关于图像的问题上有卓越的性能,但其本身所具备的黑盒性质也使得人类对其缺乏了解。为了解决这个问题,作者相对神经元进行分析和解释。于是为每个原创 2021-08-15 15:22:47 · 339 阅读 · 0 评论 -
Unmasking Clever Hans predictors and assessing what machines really learn:揭露“聪明汉斯”预测变量并评估机器到底学习到了什么?
作者:18届 cyl日期:2021-08-15论文:《Unmasking Clever Hans predictors and assessing what machines really learn》聪明的汉斯: 聪明的汉斯是著名的观察者期望效应的例子,观察者期望效应(Observer-expectancy effect)是认知偏见的一种。在科学实验中,由于观察者预期某些测试结果,于是无意识地以某种形式操纵了实验步骤,或错误解释实验结果以达至他们希望得到的结论。观察者期望效应能严重歪曲实验结果,因此原创 2021-08-15 14:28:47 · 856 阅读 · 0 评论 -
How Sensitive are sensitivity based explanation? 基于敏感性的解释有多敏感?
作者:18届 cyl日期:2020-08-15论文:《How Sensitive are sensitivity based explanation?》一、背景介绍:近年来,出现了一种新的解释深度神经网络的方法:基于敏感性的解释敏感性:它表征了随着我们改变测试输入而解释如何变化。各大论文通过改变测量变化方法、改变测试输入,定义了不同的敏感性(灵敏度)。本论文则是提供了一种演算方法,根据较简单的解释来推导复杂解释的敏感性,从而方便计算尚未提出的解释的敏感性。目前越来越流行的方法是将任何给定的预测归原创 2021-08-15 14:23:48 · 190 阅读 · 0 评论 -
Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors
作者:18届 cyl时间:2021-08-14code: github.com/tensorflflow/tcav一、简单介绍这是一篇使用人为提出的概念向量(Concept Activation Vectors,CAV)对模型进行解释的方法,并且提供了对CAV度量的标准(TCAV)。二、问题陈述1.鉴于机器学习模型应用的广泛性和重要性,我们必须去理解机器学习模型的行为(即该模型是基于什么来做出判断的)。可解释性需求随之产生。比如我们有一个已经训练好了的神经网络,输入一张鸟的图像,它可以告诉原创 2021-08-14 22:10:19 · 1308 阅读 · 1 评论 -
‘Anchors‘ High-Precision Model-Agnostic Explanations-将解释简化为IF THEN形式的一种方法
作者: 18届cyl日期:2021-08-14论文:《‘Anchors’ High-Precision Model-Agnostic Explanations》期刊:AAAI一、简单介绍之前讲到过,LIME的主要思路是在一个复杂的模型的局部提出一个简单地可解释地模型(Explainer),以提升整个复杂模型的可解释性。原作者为了改进LIME中的一些缺点,于2018年又设计了Anchors也就是这篇文章。Anchors是LIME的改进版,也是一种local的方法,会将特征和输出简化成IF-The原创 2021-08-14 21:50:52 · 1324 阅读 · 0 评论 -
《A Unified Approach to Interpreting Model Predictions》论文解读——解释模型 预测的统一方法
作者:18届 cyl日期:2021-08-09论文:《A Unified Approach to Interpreting Model Predictions》一、前言在许多应用中,理解一个模型为什么要进行某种预测与预测的准确性同样重要。即确定每个输入特征的重要性十分重要。SHAP (SHapley Additive explanation,加性特征)则为每个输入特征分配了一个特定预测的重要性值。(西瓜颜色对结果甜度的重要性)它的新颖之处包括:(1)确定了一类新的可加性特征重要性测度,(原创 2021-08-09 01:26:55 · 2989 阅读 · 0 评论 -
visualizing deep neural network decisions prediction difference analysis 可视化深度神经网络决策预测差异
作者:18届cyl日期:2021-08-09论文:《visualizing deep neural network decisions prediction difference analysis》期刊:ICLR一、概述本文在ImageNet和医学影像(MRI脑扫描)两个数据集上进行的实验中说明了一种可以突出显示给定输入图像中提供支持或者反对某个类的证据的区域。为分类器决策过程提供的新的视角。(属于可视化热力图的)就像这张识别该对象为凤头鹦鹉的最重要的特征是其面部特征(红色),而它身体的一些其原创 2021-08-09 00:22:27 · 664 阅读 · 0 评论 -
Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization
作者:18届 cyl时间:2021-08-08论文:《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》一、简单介绍CAM(上一篇)需要使用到GLobal average pooling,如果原model用的是FC,要对model进行修改,有局限性。本文是对CAM 的改进。二、问题陈述1、对一个深层的卷积神经网络而言,通过多次卷积和池化以后1.,它的最后一层卷积层包含了最丰富的空间和语义原创 2021-08-08 18:31:35 · 758 阅读 · 0 评论 -
Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning
作者:18届 cyl时期:2021-08-08论文:Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning期刊:CVPR一、写在前面的话:若有差错,欢迎指正。背景知识区:1、Inception v1的论文中提出了:既利用卷积网络的稀疏性又有聚类效果的网络是比较理想的网络。 而作者使用inception module的不同大小的并行卷积核来希望实现该效果。虽然从结果来看确实取得了不错的的效果。原创 2021-08-08 18:18:13 · 1282 阅读 · 0 评论 -
ResNet
作者:18届 cyl时期:2021-08-08论文:忘记了一、提出问题问题:首先作者提出了训练深度网络中发现的一个问题**----在一定深度下,深层网络的训练误差大于浅层网络的训练误差,例如56层的网络训练误差大于20层的网络,如下图所示:图1 不同层数的传统神经网络的误差比较如上图所示,作者做了一个对比实验,分别基于CIFAR-10数据集训练了一个20层和56层的网络。56层网络的训练误差和测试误差都大于20层网络的训练误差,这显然不是过拟合导致的(网络退化问题)。这里的"plain net原创 2021-08-08 18:03:20 · 637 阅读 · 0 评论 -
ssd : Single Shot MultiBox Detector
作者:18届 cyl日期:2021-08-08论文:《Single Shot MultiBox Detector》期刊:ECCV一、主要问题1.SSD的检测结构(网络结构与简单的检测过程)2.SSD如何检测目标(具体的检测过程)3.SSD的训练过程二、背景1.目标检测近年来已经取得了很重要的进展,主流的算法主要分为两个类型:(1)two-stage方法:以R-CNN系列框架为代表,其主要思路是先通过启发式方法(selective search)或者CNN网络产生一系列候选框,然后对这些候原创 2021-08-08 17:45:01 · 440 阅读 · 1 评论 -
多面特征可视化:揭示深层神经网络中每个神经元学习特征的不同类型
作者:18届 cyl日期:2021-08-08论文:《Multifaceted Feature Visualization: Uncovering the Different Types of Features Learned By Each Neuron in Deep Neural Networks》多面特征可视化-呈现神经元学习到的不同类型特征的可视化结果-引入一种正则化技术改善激活图像质量一、本文围绕的主要问题1、MFV算法的具体流程2、MFV的实验结果二、背景1.Deep Learn原创 2021-08-08 17:21:01 · 810 阅读 · 1 评论 -
“Why Should I Trust you ?”Explaining the Predictions of Any Classififier.-对分类预测进行解释
作者:18届 cyl日期:2021-08-08论文:《“Why Should I Trust You?” Explaining the Predictions of Any Classififier》一、简单介绍本篇文章主要思路是在一个复杂的模型中的局部提出一个简单地可解释的模型(Explainer),以提升整个复杂模型的可解释性。二、问题陈述1.尽管机器学习模型被广泛采用,但对大多数用户来说这些模型大多是黑匣子,只知道输入和输出,不知道模型到底做了什么,也就不知道模型的预测结果和模型本身值不值原创 2021-08-08 16:28:51 · 2012 阅读 · 0 评论 -
Understanding Neural Networks Through Deep Visualization-通过更深层的可视化来加强理解神经网络
作者:18届 cyl日期: 2021-08-08论文:《Understanding Neural Networks Through Deep Visualization》一、简单介绍提供两个可以直观理解DNN内部工作过程的工具。第一种工具是在处理图像或视频时,将经过每个层上产生的激活值进行可视化。第二种工具通过对激活最大化加一些正则化项,改进优化图像的显示结果。二、问题陈述1.大型深度神经网络模型的训练方面取得了巨大的进步(AlexNet)。2.人们无法准确理解神经网络到底学习到了什么(它原创 2021-08-08 16:16:14 · 766 阅读 · 0 评论 -
You only look once unified real-time object detection-实时目标检测yolo讲解
作者: 18届cyl时间:2021-08-08论文:《You only look once unified real-time object detection》期刊:CVPR一、本文围绕的问题YOLO 为什么能检测目标?YOLO 长什么样子?YOLO 如何训练?二、背景对象识别这件事(一张图片仅包含一个对象,且基本占据图片的整个范围),最近几年基于CNN卷积神经网络的各种方法已经能达到不错的效果了。所以主要需要解决的问题是,对象在哪里。最简单的想法,就是遍历图片中所有可能的位置,地原创 2021-08-08 12:30:46 · 974 阅读 · 0 评论 -
YOLO系列(YOLOv1,v2,v3):YOLO实时目标检测模型不断提高准确率的过程
作者:18届 CYL时期:2021-8-8论文:YOLO系列原创 2021-08-08 12:09:35 · 202 阅读 · 0 评论 -
Learning Deep Features for Discriminative Localization -CAM方法帮助若监督学习研究实现物体定位论文阅读笔记
作者:18届会长崔云龙时期: 2020-9-11论文《Learning Deep Features for Discriminative Localization》期刊:2016CVPR一、简单介绍:是2016年CVPR上的一篇文章。对后来的弱监督学习的研究有很大的启发。本文针对使用全局平均池化(GAP)的CNN网络提出了一个叫做class activation map(CAM)的技术,这个技术可以让CNN网络在没有边框标注的数据下进行图片识别和物体定位。在监督学习中,分类问题需要原创 2020-10-14 10:40:08 · 438 阅读 · 0 评论 -
Very Deep Convolutional Networks for Large-Scale Image Recognition-VGGNet解读
作者:HYH日期:2020-9-10论文期刊:ICLR2015标签:VGG论文:《Very Deep Convolutional Networks for Large-Scale Image Recognition》一、简介:2014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出了一种新的深度卷积神经网络:VGGNet,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是同年提出的)。原创 2020-10-09 17:37:19 · 3040 阅读 · 2 评论 -
Rethinking the Inception Architecture for Computer Vision-Inception v2 v3详细解读
作者:18届CYL日期:2020.9.3期刊: 2015-CVPR标签: Inception v2 v3《Rethinking the Inception Architecture for Computer Vision》一、写在前面的话:若有差错 欢迎指正背景知识区:1、Inception v1架构的各种设计决策的贡献因子并没有明确表述。而尽管直观的看inception架构是由inception模块堆叠而成,看起来网络结构好像不是很复杂,但是相对于其他如VGG这样的网络还是复杂了不少。(这里原创 2020-10-09 16:39:18 · 582 阅读 · 2 评论 -
Fast R-CNN论文解读-将RCNN的多段训练合并为一段,使用RoI池化层统一尺度-最大优点是训练与检测速度快
作者:WXY日期:2020-9-5论文期刊:Ross Girshick Microsoft Research Sep 2015标签:Fast RCNN一、写在前面的话Fast R-CNN基于之前的RCNN,用于高效地目标检测,运用了一些新的技巧,是训练速度、测试速度、准确率都提升。Fast R-CNN训练了一个VGG 16网络,但训练速度比RCNN快9被,测试速度快213倍,同时在PASCAL VOC上有更高的准确率,相比SPPnet,它的训练速度快3倍,测试速度快10倍。之前的模型为了实现目标原创 2020-10-09 17:10:46 · 1713 阅读 · 2 评论 -
Accelerating Deep Network Training by Reducing Internal Covariate Shift-BN归一化解读
作者:18届CYL日期:2020-9-1期刊:arxiv标签: BN归一化论文:《Batch Nomalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift》一、背景知识1、2015年 收录在arxiv。 介绍了一种归一化方法,可以加快收敛速度,减少学习率,dropout比例这种超参数的设计。在15年之后的模型中基本都会用到。作者:Sergey loffe、Christian Szeged原创 2020-10-09 16:19:39 · 553 阅读 · 0 评论 -
Understanding the role of individual units in a deep neural network-可视化研究了每个神经单元对最终结果有影响
作者:18届 CYL日期:2020-10-2论文期刊:2020 PNAC标签:可解释性 卷积核 单元一、背景:深度学习擅长寻找解决大型数据集上复杂任务的分层表示形式。而我们人类难以理解这些学习的表示,并尝试用一些可视化的方式来探索神经网络中到底学习到了啥。过去我们读到的论文虽然从最典型的ZFNet就发现层数越靠后学习到的特征越抽象。并也读到了三大可视化的方法:可视化特征图(各种)、可视化滤波器(ZFNet反卷积)、生成热力图(如:CAM)二、综述:本文中首先分析了经过场景分类训练的卷积神经原创 2020-10-03 09:48:52 · 850 阅读 · 1 评论 -
Generative Adversarial Nets-GAN生成对抗网络
作者:中南大学可视化实验室 硕士研究生 HYH日期:2020-8-1标签:GAN 对抗 进化论文期刊: 2014-NIPS简单介绍提出了一种生成对抗网络(generative adversarial network,GAN),完全避免了现有生成模型的难点痛点。问题陈述1.生成模型要做的事情是什么?生成模型(generative model)描述的是这一类的模型:接收了从某一未知分布p_data取样的若干样本构成我们的训练集,生成模型会学习到一个模拟这一分布的概率分布p_model,如下图所示原创 2020-10-02 10:49:05 · 306 阅读 · 0 评论 -
Rich feature hierarchies for accurate oject detection and semantic segmentation-RCNN详细解读
作者:中南大学可视化实验室 可解释性机器学习项目组 18届本科生研究员 WXY日期:2020-9-18论文期刊:2014-CVPR标签:RCNN 目标检测一、写在前面的知识选择性搜索https://www.cnblogs.com/zyly/p/9259392.html提取region proposal是目标检测、目标跟踪中的基本环节。目标检测的第一步是选择更小的区域,然后利用算法去识别区域中物品的得分。最直接的方法是滑动窗口,但是明显这很耗时,因为区域的尺寸和位置是不一定的。region原创 2020-10-02 10:34:57 · 913 阅读 · 0 评论 -
Going deeper with Convolutions-GoogLeNet Inception v1详细解读
作者: 18届 CYL日期: 2020-7-25标签: Inception GoogleNet 网络结构论文期刊:2014年CVPR一、写在前面的话:若有差错,欢迎指正闲话区:1、2014年GoogLeNet获得ImageNet挑战赛分类项目的第一名。(同年另一个大牛VGG网络获得第二,但是由于参数过多,计算量太大导致VGG的光环相对来说要暗淡一些,由于后续优化较少,应用有限,后续我不再讲解,其中的VGG的一个重要改进会应用在inception v2)2、神经网络深度与正确率呈正相关(注意:正原创 2020-10-02 10:06:39 · 2008 阅读 · 1 评论 -
Visualizing and Understanding Convolutional Networks-ZFNet详细解读-可视化神经网络滤波器
作者: 18届CYL日期:2020-7-23标签:神经网络 ZFNet 可视化 卷积核 反卷积论文期刊:2013年ECCV一、写在前面的话1、 为什么神经网络能够表现这么好?仅靠一个理论上的自学习和一个理论上的多参数和一个理论上的非线性分类是无法令人们满意的。神经网络的黑盒子特性也让充满好奇心的机器学习学者们拼命想解开神经网络的秘密。在解密神经网络的庞大队伍中的重要分支是想要利用可视化等技术来对神经网络一探究竟,其中Z和F二人开篇性的找到了将卷积核可视化的一种可行的方式。中南大学赵颖老师带领的可原创 2020-10-02 09:38:34 · 223 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional Neural Networks-AlexNet详细解读
作者: 18届 CYL日期:2020-7-20标签:AlexNet 卷积神将网络一、写在前面的话常识区:1、 ImageNet是一个在2009年创建的图像数据集,之后就是从2010年开始到2017年为期七届的ImageNet挑战赛ImageNet Large Scale Visual Recognition ChallengeI(LSVRC),在这个挑战赛上诞生了AlexNet,ZFNet,OverFeat,VGG,Inception,ResNet、WideResNet,FractalNet,De原创 2020-10-02 00:55:30 · 2497 阅读 · 0 评论 -
神经网络与卷积神经网络入门
作者:中南大学可视化实验室 可解释性机器学习项目组 18届 MHX日期:2020-7-17标签:正则化 神经网络 激活函数 神经网络 卷积一、神经网络与卷积神经网络这里我们构建一个两层神经网络,理论上两层神经网络已经可以拟合任意函数。这个神经网络的结构如下图:首先去掉图1中一些难懂的东西,如下图:1.1 输入层在例子中,输入层是坐标值,例如(1,1),这是一个包含两个元素的数组,也可以看作是一个12的矩阵。输入层的元素维度与输入量的特征息息相关,如果输入的是一张3232像素的灰度图像,那么原创 2020-10-02 00:39:53 · 848 阅读 · 1 评论 -
梯度下降算法和逆误差传播算法
作者:中南大学可视化实验室可解释性机器学习项目组 18届 本科生研究员 WXY日期:2020-7-16标签: 梯度下降 误差反向传播一、梯度下降算法基本思想:从某些初始解出发,迭代寻找最优参数值,每次迭代中在当前点计算梯度,根据函数值下降最快的方向确定搜索方向,梯度为0则达到局部极小。J是代价函数,w是权重,b是一个常数类似于阈值,当我们从一个初始点出发,向梯度最大的方向一步一步前进,最终会到达最小值全局最小与局部极小这张图是一个凸函数,但是如果在非凸最优化,类似于这张图直接采取梯度原创 2020-10-02 00:16:41 · 573 阅读 · 0 评论 -
正则化的简单介绍
日期:2020-07-16作者:18届会长崔云龙标签:机器学习 正则化 作用 L1、L2什么是正则化(regularization):直观感受为在损失函数后面添加一个额外项。通常该项为L1范数或者是L2范数组成,又称为L1正则化项和L2正则化项。(注:也有其他形式的正则化)L1正则化项:权值向量w中各个元素的绝对值之和,再乘以系数L2正则化项:权值向量w中各个元素的平方和开平方根,再乘以系数正则化作用:L1正则化:可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择(原创 2020-09-19 21:02:41 · 1457 阅读 · 4 评论