![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
可解释性
文章平均质量分 66
Kenny_SI
He is studying for a master's degree of computer science and technology, School of computer Science and Communication Engineering, Jiangsu University. 那些你渴望拥有的成功或美好,都需要你日复一日地克服懒惰去争取!
展开
-
深度学习可解释性-可视化技术
CAMCAM是什么?CAM全称Class Activation Mapping,即类别激活映射图,也被称为类别热力图、显著性图等。是一张和原始图片等同大小图,该图片上每个位置的像素取值范围从0到1,一般用0到255的灰度图表示。可以理解为对预测输出的贡献分布,分数越高的地方表示原始图片对应区域对网络的响应越高、贡献越大。可视化的时候,一般利用热力图和原图叠加的形式呈现。为什么用CAM?有助于理解和分析神经网络的工作原理及决策过程,进而去更好地选择或设计网络。例如对于分类网络,如果参考CAM相原创 2021-12-17 19:08:12 · 1689 阅读 · 0 评论 -
用深度变分信息瓶颈方法解释黑盒子
Perspective From Information Bottleneck Principle信息瓶颈原理(Tishby, Pereira, and Bialek 2000)通过定义我们所谓的“好的”表示,为学习监督模型提供了一个有吸引力的信息理论观点。其原理是,最优模型通过压缩表示t(称为信息瓶颈)将尽可能多的信息从输入x传递到输出y。表示t是随机定义的,最优随机映射p(t∣x)p ( t | x )p(t∣x)是通过利用马尔可夫链假设 y→x→ty \rightarrow x \rightarr翻译 2021-10-23 21:17:28 · 936 阅读 · 0 评论 -
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
从信息瓶颈(IB)原理的理论框架出发,对深度神经网络(DNNs)进行了分析。我们首先证明了任何DNN都可以由层与输入输出变量之间的互信息来量化。利用这种表示,我们可以计算DNN的最优信息论界限,并得到有限样本推广界限。更接近理论极限的优势既可以通过泛化界限来量化,也可以通过网络的简单性来量化。我们认为,无论是最优体系结构、层数还是每层的特征/连接,都与信息瓶颈权衡的分岔点有关,即输入层相对于输出层的相对压缩。分层网络处的分层表示自然对应于沿着信息曲线的结构相变。我们相信这种新的洞察力可以产生新的最优界和深度翻译 2021-10-04 14:01:52 · 2132 阅读 · 0 评论 -
Making CNNs Interpretable 通过自上而下的层次学习构建动态顺序决策森林使 CNN 具有可解释性
Paper: https://arxiv.org/abs/2106.02824Making CNNs Interpretable by Building Dynamic Sequential Decision Forests with Top-down Hierarchy Learning摘要:在本文中,我们提出了一种通用模型转移方案,使卷积神经网络 (CNN) 可解释,同时保持较高的分类精度。我们通过在 CNN 之上构建可微决策森林来实现这一点,它具有两个特征:训练过程中,在预先训练好的CNN权值翻译 2021-10-03 15:02:04 · 322 阅读 · 0 评论 -
Interpreting and Disentangling Feature Components of Various Complexity from DNNs
Paper: https://arxiv.org/abs/2006.15920Motivation: 将原始特征分解成不同复杂度阶的特征分量。进一步设计分析解缠特征分量的度量。方法: 不同复杂度的特征分量的解缠受知识蒸馏的启发。将目标 DNN 视为教师网络。然后,设计几个不同深度的解缠结网络(即解缠结网络)来模仿教师网络中间层的特征。由浅层解缠结网模仿的特征组件通常对应于低复杂性的特征组件。除了低复杂度的组件外,更深的解缠器网络可以逐步学习一个复杂度更高的附加特征组件。此外,我们发现 disentan原创 2021-07-11 16:07:00 · 452 阅读 · 0 评论 -
机器学习可解释性方法的分类
解释方法的输出特征概要统计量。例如为每个特征返回一个数字,代表其特征重要性;对于更复杂的输出,返回成对特征交互强度,每个特征对表示一个数字。特征概要可视化。特征概要可视化以表格形式呈现数据的方式已不能满足可视化的要求,比如特征的部分依赖性无法通过表格呈现,而呈现部分依赖关系的最佳方法是绘制曲线。模型内部(例如学习的权重)。对于内部可解释性模型来说,可以满足这一类分类方法。并且输出模型内部的可解释性方法是特定于模型的。数据点。这个类别的方法是返回数据点以使模型可解释。⼀种⽅法叫做反事实解释(Coun原创 2021-06-28 10:07:13 · 727 阅读 · 0 评论 -
Concept Whitening for interpretable image recognition 用于可解释图像识别的概念白化
Concept Whitening for interpretable image recognitionDeep neural networks achieve state-of-the-art performance in image recognition. But what does a neural network encode in its latent space?Ideally, we want the latent space to be disentangled,meaning t原创 2021-06-25 14:10:21 · 1031 阅读 · 0 评论 -
特征归因(Feature Attribution)
特征归因特征之间的依赖引入了归因和外推问题。例如,当特征之间相互关联并共享信息时,特征的重要性和作用就变得难以区分。随机森林中的相关特征具有较高的重要性,许多基于灵敏度分析的方法会置换特征,当置换后的特征与另一特征具有某种依赖性时,此关联将断开,并且所得数据点将外推到分布之外的区域。ML模型从未在这类组合数据上进行过训练,并且可能不会在应用程序中遇到类似的数据点。因此,外推可能会引起误解。归因方法主要是指输入特征的解释能力进行排名或度量,并以此来解释任务模型,有时也称为特征/变量重要性,相关性原创 2021-06-06 19:14:57 · 2844 阅读 · 0 评论 -
Explainability in Graph Neural Networks:A Taxonomic Survey
Explainability in Graph Neural Networks:A Taxonomic SurveyAbstract深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避,从而产生可解释的领域。近年来,深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域,图神经网络(GNNs)及其可解释性正经历着快速的发展。然而,对GNN解释方法并没有统一的处理方法,也没有一个标准的评价基准和试验台。在原创 2021-05-21 17:25:51 · 1214 阅读 · 0 评论 -
ACL2020有关可解释性的文章
DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification摘要:Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recogni原创 2021-03-16 10:45:25 · 269 阅读 · 0 评论 -
ICML有关可解释性的文章
Explainable k-Means and k-Medians Clustering摘要:Many clustering algorithms lead to cluster assignments that are hard to explain, partially because they depend on all the features of the data in a complicated way. To improve interpretability, we consider u原创 2021-03-14 10:14:41 · 279 阅读 · 0 评论 -
CVPR2020有关可解释性的文章
AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification摘要:Deep-learning architectures for classification problems involve the cross-entropy loss sometimes assisted with auxiliary loss functions like center loss, cont原创 2021-03-13 11:54:52 · 423 阅读 · 0 评论 -
NeurIPS2020有关可解释性的文章
Fourier-transform-based attribution priors improve the interpretability and stability of deep learning models for genomicshttps://proceedings.neurips.cc/paper/2020/hash/1487987e862c44b91a0296cf3866387e-Abstract.html-摘要:Deep learning models can accuratel原创 2021-03-12 11:01:51 · 359 阅读 · 0 评论 -
Towards Biologically Plausible Deep Learning
Towards Biologically Plausible Deep LearningAbstract神经科学家长期以来一直批评深度学习算法与当前的神经生物学知识不兼容。我们探索了深度表征学习在生物学上更合理的版本,这里主要关注无监督学习,但开发了一种学习机制,可以解释有监督、无监督和强化学习。基本的学习规则的出发点是认为控制突触权重更新(Spike-TimingDependent可塑性)可以解释为在一些目标函数梯度下降法只要神经元动力学推动发射率更好的目标函数值(监督、非监督或reward-dri原创 2021-01-26 11:55:38 · 190 阅读 · 0 评论 -
【 2020ResearchGate】On Interpretability of Artificial Neural Networks
On Interpretability of Artificial Neural NetworksFenglei Fan, Student Member, IEEE, Jinjun Xiong and Ge Wang, Fellow, IEEE摘要深度学习在处理文本、图像、视频、图形等许多重要领域都取得了巨大的成功。然而,深层人工神经网络的黑箱性质已经成为它们在诸如诊断和治疗的关键应用中被公众接受和广泛流行的主要障碍。由于深度学习的巨大潜力,解释神经网络已经成为最关键的研究方向之一。在本文中,我们系原创 2021-01-26 11:55:15 · 445 阅读 · 0 评论 -
【CVPR2017周博磊】Network Dissection: Quantifying Interpretability of Deep Visual Representations
Network Dissection: Quantifying Interpretability of Deep Visual Representations论文地址:https://arxiv.org/pdf/1704.05796.pdf源代码和数据获取地址:http://netdissect.csail.mit.eduAI科技大本营 采访周博磊:https://www.jianshu.com/p/cc9cdb4fd42b摘要我们提出了一种名为“Network Dissection”的通用框架,原创 2021-01-26 11:54:53 · 601 阅读 · 1 评论 -
【ICICT2020】Explainable Deep-Fake Detection Using Visual Interpretability Methods
Explainable Deep-Fake Detection Using Visual Interpretability Methods【摘要】提出了一个使用深度学习方法来检测深度造假视频的框架:在FaceForensics的DeepFakeDetection数据集中提取的人脸数据库上训练了卷积神经网络架构。此外,已经在各种可解释的人工智能技术(如LRP和LIME)上测试了该模型,以提供模型所聚焦的图像显著区域的清晰可视化。预期的和难以捉摸的目标是定位由Faceswaps引起的面部操作。希望通过这原创 2021-01-22 11:36:03 · 216 阅读 · 1 评论 -
深度伪造技术
参考资料:https://mp.weixin.qq.com/s/VnhyblNe2gI1HHWrB7rQrwhttps://zhuanlan.zhihu.com/p/210812688概念“深度伪造”,也被译作“深度造假”,译自英语中新出现的一个组合词Deepfake,是计算机的“深度学习”(Deeplearning)和“伪造”(fake)的组合,出现于人工智能和机器学习技术时代。它被称作一种合成媒体(synthetic media),是通过自动化的手段、特别是使用人工智能的算法技术,进行智能生产原创 2021-01-20 17:36:32 · 7729 阅读 · 2 评论 -
LEMNA: Explaining Deep Learning based Security Applications
LEMNA: Explaining Deep Learning based Security ApplicationsLEMNA:Local Explanation Method using Nonlinear ApproximationAbstract虽然深度学习在各个领域显示出巨大潜力,但缺乏透明度限制了其在security 或者 safety-critical领域的应用。现有研究试图开发可解释技术,为每个分类决策提供可解释性。不幸的是,当前的方法是针对非安全任务(例如,图像分析)而优化的。他们原创 2021-01-20 10:15:25 · 485 阅读 · 1 评论 -
可解释性学习未来的发展方向是什么
[ValseWebinar] 可解释性AI专题https://www.bilibili.com/video/BV1oJ411k7mf?from=search&seid=6708423743269033可解释性学习未来的发展方向是什么?鲁棒性方面:如何增强深度神经网络的鲁棒性?使得在医疗、自动驾驶、军事战争等重要的方面发挥作用。可解释性分为两大类:1.面向模型开发设计的研究人员,对模型的各个层进行解释,以此来设计鲁棒性更好的model;2.面向应用model的各类从业人员,比如医生、金融师原创 2021-01-16 14:22:06 · 320 阅读 · 0 评论