- 博客(38)
- 收藏
- 关注
RSS订阅原创 深度学习可解释性-可视化技术
CAMCAM是什么？CAM全称Class Activation Mapping，即类别激活映射图，也被称为类别热力图、显著性图等。是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的灰度图表示。可以理解为对预测输出的贡献分布，分数越高的地方表示原始图片对应区域对网络的响应越高、贡献越大。可视化的时候，一般利用热力图和原图叠加的形式呈现。为什么用CAM？有助于理解和分析神经网络的工作原理及决策过程，进而去更好地选择或设计网络。例如对于分类网络，如果参考CAM相
2021-12-17 19:08:12
1762
翻译 用深度变分信息瓶颈方法解释黑盒子
Perspective From Information Bottleneck Principle信息瓶颈原理(Tishby, Pereira, and Bialek 2000)通过定义我们所谓的“好的”表示，为学习监督模型提供了一个有吸引力的信息理论观点。其原理是，最优模型通过压缩表示t(称为信息瓶颈)将尽可能多的信息从输入x传递到输出y。表示t是随机定义的，最优随机映射p(t∣x)p ( t | x )p(t∣x)是通过利用马尔可夫链假设 y→x→ty \rightarrow x \rightarr
2021-10-23 21:17:28
992
翻译 Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
从信息瓶颈(IB)原理的理论框架出发，对深度神经网络(DNNs)进行了分析。我们首先证明了任何DNN都可以由层与输入输出变量之间的互信息来量化。利用这种表示，我们可以计算DNN的最优信息论界限，并得到有限样本推广界限。更接近理论极限的优势既可以通过泛化界限来量化，也可以通过网络的简单性来量化。我们认为，无论是最优体系结构、层数还是每层的特征/连接，都与信息瓶颈权衡的分岔点有关，即输入层相对于输出层的相对压缩。分层网络处的分层表示自然对应于沿着信息曲线的结构相变。我们相信这种新的洞察力可以产生新的最优界和深度
2021-10-04 14:01:52
2318
翻译 Making CNNs Interpretable 通过自上而下的层次学习构建动态顺序决策森林使 CNN 具有可解释性
Paper: https://arxiv.org/abs/2106.02824Making CNNs Interpretable by Building Dynamic Sequential Decision Forests with Top-down Hierarchy Learning摘要：在本文中，我们提出了一种通用模型转移方案，使卷积神经网络 (CNN) 可解释，同时保持较高的分类精度。我们通过在 CNN 之上构建可微决策森林来实现这一点，它具有两个特征：训练过程中，在预先训练好的CNN权值
2021-10-03 15:02:04
355
原创 Interpreting and Disentangling Feature Components of Various Complexity from DNNs
Paper: https://arxiv.org/abs/2006.15920Motivation: 将原始特征分解成不同复杂度阶的特征分量。进一步设计分析解缠特征分量的度量。方法： 不同复杂度的特征分量的解缠受知识蒸馏的启发。将目标 DNN 视为教师网络。然后，设计几个不同深度的解缠结网络（即解缠结网络）来模仿教师网络中间层的特征。由浅层解缠结网模仿的特征组件通常对应于低复杂性的特征组件。除了低复杂度的组件外，更深的解缠器网络可以逐步学习一个复杂度更高的附加特征组件。此外，我们发现 disentan
2021-07-11 16:07:00
474
原创 机器学习可解释性方法的分类
解释方法的输出特征概要统计量。例如为每个特征返回一个数字，代表其特征重要性；对于更复杂的输出，返回成对特征交互强度，每个特征对表示一个数字。特征概要可视化。特征概要可视化以表格形式呈现数据的方式已不能满足可视化的要求，比如特征的部分依赖性无法通过表格呈现，而呈现部分依赖关系的最佳方法是绘制曲线。模型内部（例如学习的权重）。对于内部可解释性模型来说，可以满足这一类分类方法。并且输出模型内部的可解释性方法是特定于模型的。数据点。这个类别的方法是返回数据点以使模型可解释。⼀种⽅法叫做反事实解释(Coun
2021-06-28 10:07:13
788
原创 Concept Whitening for interpretable image recognition 用于可解释图像识别的概念白化
Concept Whitening for interpretable image recognitionDeep neural networks achieve state-of-the-art performance in image recognition. But what does a neural network encode in its latent space?Ideally, we want the latent space to be disentangled,meaning t
2021-06-25 14:10:21
1070
原创 特征归因（Feature Attribution）
特征归因特征之间的依赖引入了归因和外推问题。例如，当特征之间相互关联并共享信息时，特征的重要性和作用就变得难以区分。随机森林中的相关特征具有较高的重要性，许多基于灵敏度分析的方法会置换特征，当置换后的特征与另一特征具有某种依赖性时，此关联将断开，并且所得数据点将外推到分布之外的区域。ML模型从未在这类组合数据上进行过训练，并且可能不会在应用程序中遇到类似的数据点。因此，外推可能会引起误解。归因方法主要是指输入特征的解释能力进行排名或度量，并以此来解释任务模型，有时也称为特征/变量重要性，相关性
2021-06-06 19:14:57
3078
原创 Explainability in Graph Neural Networks:A Taxonomic Survey
Explainability in Graph Neural Networks:A Taxonomic SurveyAbstract深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避，从而产生可解释的领域。近年来，深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域，图神经网络(GNNs)及其可解释性正经历着快速的发展。然而，对GNN解释方法并没有统一的处理方法，也没有一个标准的评价基准和试验台。在
2021-05-21 17:25:51
1273
原创 ACL2020有关可解释性的文章
DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification摘要：Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recogni
2021-03-16 10:45:25
307
原创 ICML有关可解释性的文章
Explainable k-Means and k-Medians Clustering摘要：Many clustering algorithms lead to cluster assignments that are hard to explain, partially because they depend on all the features of the data in a complicated way. To improve interpretability, we consider u
2021-03-14 10:14:41
322
原创 CVPR2020有关可解释性的文章
AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification摘要：Deep-learning architectures for classification problems involve the cross-entropy loss sometimes assisted with auxiliary loss functions like center loss, cont
2021-03-13 11:54:52
456
原创 NeurIPS2020有关可解释性的文章
Fourier-transform-based attribution priors improve the interpretability and stability of deep learning models for genomicshttps://proceedings.neurips.cc/paper/2020/hash/1487987e862c44b91a0296cf3866387e-Abstract.html-摘要：Deep learning models can accuratel
2021-03-12 11:01:51
377
原创 Fast算法
FAST（全称Features from accelerated segment test）是一种用于角点检测的算法，该算法的原理是取图像中检测点，以该点为圆心的周围邻域内像素点判断检测点是否为角点，通俗讲就是若一个像素周围有一定数量的像素与该点像素值不同，则认为其为角点。FAST算法的基本流程：...
2021-03-01 19:48:14
529
原创 SIFT与SURF算法比较
SIFT在图像的不变特征提取方面拥有无与伦比的优势，但并不完美，仍然存在实时性不高，有时特征点较少，对边缘光滑的目标无法准确提取特征点等缺陷，自SIFT算法问世以来，人们就一直对其进行优化和改进,其中最著名的就是SURF算法。SURF算法是SIFT算法的增强版，它的计算量小，运算速度快，提取的特征与SIFT几乎相同，将其与SIFT算法对比如下：...
2021-03-01 12:54:52
1603
原创 OpenCV角点特征提取
Harris算法：思想：通过图像的局部小窗口观察图像，角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化。API:cv.cornerHarris()Shi-Tomasi算法：对Harris算法的改进，能够更好地检测角点API：cv2.goodFeatureToTrack()...
2021-03-01 12:37:51
379
原创 模板匹配
模板匹配所谓的模板匹配，就是在给定的图片中查找和模板最相似的区域，该算法的输入包括模板和图片，整个任务的思路就是按照滑窗的思路不断的移动模板图片，计算其与图像中对应区域的匹配度，最终将匹配度最高的区域选择为最终的结果。拓展︰模板匹配不适用于尺度变换，视角变换后的图像，这时我们就要使用关键点匹配算法，比较经典的关键点检测算法包括SIFT和SURF等，主要的思路是首先通过关键点检测算法获取模板和测试图片中的关键点﹔然后使用关键点匹配算法处理即可，这些关键点可以很好的处理尺度变化、视角变换、旋转变化、
2021-03-01 10:11:35
743
原创 边缘检测算子比较
边缘检测算子优缺点比较Roberts:对于具有陡峭的低噪声的图像处理效果比较好，但利用Roberts算子提取边缘的结果是边缘比较粗，因此边缘定位不是很准确。Sobel：对灰度渐变和噪声较多的图像处理效果比较好，Sobel算子对边缘定位比较准确。Kirsch：对灰度渐变和噪声较多的图像处理效果较好。Prewitt：对灰度渐变和噪声较多的图像处理效果较好。Laplacian：对图像中的越阶性边缘点定位准确，对噪声非常敏感，丢失一部分边缘的方向信息，造成一些不连续的检测边缘。
2021-02-28 21:33:24
2463
原创 Scrapy爬虫
Scrapy框架是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上随处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是定义一个入口页面，然后页面上都会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。Scrapy框架的安装由于.
2021-02-26 20:12:33
113
原创 CentOS7安装问题一览：localhost login总是incorrect问题+图形界面问题+命令行界面与图形界面转化问题
1.localhost login总是incorrect问题回想注册系统时候密码是否正确密码如果有数字，必须用主键盘上的数字输入，不是数字小键盘2.安装图形界面问题1.重新开启系统，以root身份进入；2.输入yum groupinstall "X Window System"安装X(X Window System)；3.如果在安装过程中，出现Error:Could not resolve host: mirrorlist.centos.org源错误：做以下操作:①使用vim修改网
2021-02-25 11:24:20
35200
8
原创 Python OOP的核心基础知识点树
类Class|->变量|---- |->实例变量|---- |->类变量|->方法|---- |->实例方法（访问实例变量）|---- |->类方法（访问类变量）|---- |->静态方法|---- |->普通方法类->对象（实例）|------- |->类的可见属性（实例变量）|------- |->类的可见方法（实例方法）|->类的属性（所有对象公有的类变量）|->类的方法（所有对象包括类本身..
2021-02-23 16:02:49
125
原创 实例方法+实例变量与类方法+类变量
1.实例方法+实例变量都是隶属于实例对象实例方法可以使用实例对象直接访问操作语法：def instanceMethod(self,…):实例变量可以使用实例对象直接访问操作语法：self.instanceVariable = 值实例变量在构造方法中定义应用场景：大部分情况下都适用2.类方法+类变量都是隶属于类类方法可以使用类直接访问操作语法：@classmethoddef classMethod(cls,…):类变量可以使用类直接访问操作语法：var
2021-02-23 15:46:41
283
原创 实例方法
实例方法的定义及各种调用实例方法是属于实例对象的，但也可以使用类直接调用。但两者调用的方式有区别（传递参数个数上面）实例方法的调用中，第一个参数必须为self（当然参数名称也可以随意定义，但是self是python默认的规定最好不修改）实例方法定义的语法规范：def 方法名称(self[,arg1[,arg2,…[,argN]]])第一个参数self代表调用该方法的实例对象，在使用实例对象调用方法的时候可以忽略第一个参数，只需传递满足在实例方法定义过程中的n-1个后续参数数量即可。而类调用时，
2021-02-23 10:04:27
1230
原创 面向对象的三大特征
继承：子类拥有父类的可访问属性和方法，提高代码的重用性。封装：通过语句块保护变量或对象的作用域，提高代码的安全性。多态：各种重载和重写的机制，提高代码灵活性。（特别说明，Python OOP没有多态特性）...
2021-02-23 09:41:50
67
原创 Towards Biologically Plausible Deep Learning
Towards Biologically Plausible Deep LearningAbstract神经科学家长期以来一直批评深度学习算法与当前的神经生物学知识不兼容。我们探索了深度表征学习在生物学上更合理的版本，这里主要关注无监督学习，但开发了一种学习机制，可以解释有监督、无监督和强化学习。基本的学习规则的出发点是认为控制突触权重更新(Spike-TimingDependent可塑性)可以解释为在一些目标函数梯度下降法只要神经元动力学推动发射率更好的目标函数值(监督、非监督或reward-dri
2021-01-26 11:55:38
208
原创 【 2020ResearchGate】On Interpretability of Artificial Neural Networks
On Interpretability of Artificial Neural NetworksFenglei Fan, Student Member, IEEE, Jinjun Xiong and Ge Wang, Fellow, IEEE摘要深度学习在处理文本、图像、视频、图形等许多重要领域都取得了巨大的成功。然而，深层人工神经网络的黑箱性质已经成为它们在诸如诊断和治疗的关键应用中被公众接受和广泛流行的主要障碍。由于深度学习的巨大潜力，解释神经网络已经成为最关键的研究方向之一。在本文中，我们系
2021-01-26 11:55:15
492
原创 【CVPR2017周博磊】Network Dissection: Quantifying Interpretability of Deep Visual Representations
Network Dissection: Quantifying Interpretability of Deep Visual Representations论文地址：https://arxiv.org/pdf/1704.05796.pdf源代码和数据获取地址：http://netdissect.csail.mit.eduAI科技大本营 采访周博磊：https://www.jianshu.com/p/cc9cdb4fd42b摘要我们提出了一种名为“Network Dissection”的通用框架，
2021-01-26 11:54:53
641
1
原创 【ICICT2020】Explainable Deep-Fake Detection Using Visual Interpretability Methods
Explainable Deep-Fake Detection Using Visual Interpretability Methods【摘要】提出了一个使用深度学习方法来检测深度造假视频的框架:在FaceForensics的DeepFakeDetection数据集中提取的人脸数据库上训练了卷积神经网络架构。此外，已经在各种可解释的人工智能技术(如LRP和LIME)上测试了该模型，以提供模型所聚焦的图像显著区域的清晰可视化。预期的和难以捉摸的目标是定位由Faceswaps引起的面部操作。希望通过这
2021-01-22 11:36:03
241
1
原创 深度伪造技术
参考资料：https://mp.weixin.qq.com/s/VnhyblNe2gI1HHWrB7rQrwhttps://zhuanlan.zhihu.com/p/210812688概念“深度伪造”，也被译作“深度造假”，译自英语中新出现的一个组合词Deepfake，是计算机的“深度学习”（Deeplearning）和“伪造”（fake）的组合，出现于人工智能和机器学习技术时代。它被称作一种合成媒体（synthetic media），是通过自动化的手段、特别是使用人工智能的算法技术，进行智能生产
2021-01-20 17:36:32
7971
2
原创 LEMNA: Explaining Deep Learning based Security Applications
LEMNA: Explaining Deep Learning based Security ApplicationsLEMNA：Local Explanation Method using Nonlinear ApproximationAbstract虽然深度学习在各个领域显示出巨大潜力，但缺乏透明度限制了其在security 或者 safety-critical领域的应用。现有研究试图开发可解释技术，为每个分类决策提供可解释性。不幸的是，当前的方法是针对非安全任务(例如，图像分析)而优化的。他们
2021-01-20 10:15:25
545
1
原创 可解释性学习未来的发展方向是什么
[ValseWebinar] 可解释性AI专题https://www.bilibili.com/video/BV1oJ411k7mf?from=search&seid=6708423743269033可解释性学习未来的发展方向是什么？鲁棒性方面：如何增强深度神经网络的鲁棒性？使得在医疗、自动驾驶、军事战争等重要的方面发挥作用。可解释性分为两大类：1.面向模型开发设计的研究人员，对模型的各个层进行解释，以此来设计鲁棒性更好的model；2.面向应用model的各类从业人员，比如医生、金融师
2021-01-16 14:22:06
344
转载 Deep Learning: A Critical Appraisal deep learning发展的瓶颈和面临的挑战
Gary Marcus “Deep Learning: A Critical Appraisal” in arXiv:1801.00631。其中分析了目前deep learning发展的瓶颈和面临的挑战。(1) Deep learning thus far is data hungry目前大部分Deep learning算法需要大数据去训练。相比较而言，真正的高级人工智能需要有能力完成few-shot learning，即从一两个样本出发，就可以总结出高层语义概念，总结出罗辑链条，并且举一反三，触.
2021-01-15 10:24:40
347
翻译 【NeurIPS 2020】Deep Evidential Regression
Deterministic Neural Networks(NNs) 正越来越多地应用于关键的安全领域，在这些领域，校准、鲁棒和有效的不确定性措施至关重要。在本文中，我们提出了一种训练非贝叶斯神经网络来估计连续目标及其相关证据的新方法，以学习任意不确定性和认知不确定性。我们通过在原始高斯似然函数上放置证据先验和训练神经网络来推断证据分布的超参数来实现这一点。此外，我们在训练过程中施加先验，使得当模型的预测证据与正确的输出不一致时，模型被正则化。
2021-01-10 21:56:20
3588
原创 反向传播图解法
反向传播在链式求导过程中，如果“链条”较长，那么很容易出现错漏。图解法提供了正向计算和反向求导计算的流程图，有助于理解求导过程案例1：已知f(x,y,z)=(x+y)⋅zf(x,y,z) = (x+y) \cdot zf(x,y,z)=(x+y)⋅z,请计算xxx=-2,yyy=5,zzz=-4时的导数∂f∂x\frac{\partial f}{\partial x}∂x∂f,∂f∂y\frac{\partial f}{\partial y}∂y∂f和∂f∂z\frac{\partial f}{\
2020-12-18 21:23:13
516
1
原创 模型压缩（Model compression）
网络剪枝（Network Pruning）前言深度神经网络（DNN）有个很大的缺点就是计算量太大。为克服这类问题，研究人员在两方面做了工作。第一，使用高性能硬件加速；第二，使用模型压缩（Model compression）。网络剪枝就是模型压缩其中的一个方法，除此之外，还有量化（Quantization）、低秩分解（Low-rank factorization）、知识蒸馏（Knowledge distillation）。网络剪枝研究的核心问题就是：如何有效地裁剪模型参数且最小化精度的损失。网络剪枝
2020-12-18 15:19:00
10358
原创 KMeans聚类
KMeans聚类提出问题对于给定了标签的训练数据，可以使用KNN来分类，但是对于没有给定标签的训练数据，如何根据其中的Feature，对数据进行分类，使分类下的样本数据看上去比较接近呢？分析问题监督学习和无监督学习以往的回归、朴素贝叶斯、SVM等都是有类别标签 ???? 的，也就是说样例中已经给出了样例的分类。这类机器学习称为监督学习。而聚类的样本中却没有给定 ???? ，只有特征 ???? ；其目的是找到每个样本 ???? 潜在的类别 ???? ，并将同类别 ???? 的样本 ????
2020-12-17 16:56:09
260
原创 KNN最邻近分类算法
KNN（K-Nearest-Neighbor）最邻近分类算法提出问题已知N维空间中若干个点的坐标，以及这些点所属的类别(子空间)。给定新的点坐标，如何判断该点应被划入哪个类别(子空间)？分析问题KNN（K-Nearest-Neighbor）算法基本思想：已知一批数据集及其对应的分类标签，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集里与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。具体步骤：(1) 计算测试数据与各个训练数
2020-12-17 11:02:43
535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人