- 博客(21)
- 收藏
- 关注
RSS订阅原创 Bias Also Matters: Bias Attribution for Deep Neural Network Explanation 论文阅读笔记
此前提出的归因可解释方法认为可以将一个非线性的DNNs模型，在输入图像位置展开成线性模型（即g(x)=wx+b），以解释不同输入特征的重要性。但这些方法均忽略了偏置项$b$的重要性。本文发现偏置项b对于解释一个神经网络的归因来说是不可或缺的，并且提出一个全新的算法“bias back-propagation（BBp）”从网络输出到输入计算偏置项的贡献度，得到偏置的归因。与基于反向传播的算法结合，可以完全还原出对于输入图像的局部线性模型g(x)=wx+b。
2023-10-24 22:43:56
140
原创 Axiomatic Attribution for Deep Networks (Integrated Gradients) 论文阅读笔记
本文首先提出两个可解释性模型的基本公理（fundamental axioms），敏感性（Sensitivity）和实现不变性（Implementation Invariance）。之后提出一个全新的可解释性算法积分梯度（Integrated Gradients），能有效解决现有梯度的可解释方法仅对单个图像进行解释，存在梯度饱和的问题。
2023-10-21 17:43:39
163
原创 On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation笔记
本文与基于梯度的可解释性方法不同，提出一个对非线性分类器的在像素级别进行分解，来理解分类决策的通用可解释性模型。可以可视化单个像素对预测结果的贡献，以热力图的方式表明模型的关注区域。
2023-10-16 10:24:18
257
原创 Model Agnostic Supervised Local Explanations 论文阅读笔记
MAPLE作为一个解释模型本身具有极高的预测准确率，能够提供faithful self explanations，因此能避免LIME中提到的准确率和可解释性之间的权衡（可以理解为用决策树创建了一个效果与待预测模型相同的模型，后续的工作对这个决策树进行）。其次，MAPLE具有两种不同的解释方式，一种是基于样本的解释，另一种是局部解释。同时，它还能够识别出数据中的全局模式，这使得它能够更好地理解数据的整体特征。由于MAPLE可以同时考虑全局和局部信息，因此它能够发现局部解释的局限性。
2023-08-25 21:45:47
114
原创 “Why Should I Trust You?“ Explaining the Predictions of Any Classifier 论文阅读笔记
现有机器学习（深度学习）方法大多为黑盒模型，即我们无法像线性回归、决策树等方法一样理解模型的决策。为解决上述问题，本文提出LOCAL INTERPRETABLE MODEL-AGNOSTIC EXPLANATIONS（LIME）—— 一个全新的可解释技术，以对任何分类器的单个预测结果，生成可靠且易于理解的解释。此外，本文还以一种非冗余（non-redundant）的方式结合多个**可解释模型**，生成对预测模型的整体理解。
2023-08-25 15:22:58
45
原创 Windows11系统 Pytorch-GPU环境安装 RTX4060Laptop
最近新买了机械革命的极光Pro，显卡是RTX4060Laptop，因此想配置下深度学习的运行环境。
2023-08-14 17:35:21
954
原创 Deep Inside Convolutional Networks Visualising Image Classification Models and Saliency Maps 论文阅读笔记
本文可以说是通过梯度计算类激活图的开山之作，主要提出两个基于计算类得分相对于输入图像梯度的可视化技巧：第一种方法生成的图像能使类别得分最大化，从而将 ConvNet 捕捉到的类别概念可视化，查看使每类预测置信度最大的图像。第二种方法是针对给定图像和类别，计算类激活图。并且，本文在最后还对基于梯度的基于反卷积的模型进行了讨论。
2023-08-14 14:38:16
95
原创 Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks 论文阅读笔记
本文针对Grad-CAM中出现的问题，例如当图像中存在多个目标或单个物体存在多个部分时，显著图无法将其全部标注、显著图无法完整地捕获整个对象的结构。面对上述问题，本文在CAM和Grad-CAM的基础上提出一个全新的可解释性算法Grad-CAM++，下面将对Grad-CAM++算法进行详细介绍。
2023-08-14 10:08:22
814
原创 LayerCAM Exploring Hierarchical Class Activation Maps for Localization 论文阅读笔记
期刊：IEEE Transactions on Image Processing（Tip）时间：2021年本文针对现有类激活图的方法如CAM、Grad-CAM、Grad-CAM++等方法构建的类激活热力图不够精确的问题，提出一个全新的算法LayerCAM。它可以为 CNN 的不同层生成可靠的类激活图。这个属性使LayerCAM能够收集到对象定位信息从粗略（粗略的空间定位）到精细（精确的细粒度细节）级别，并可以进一步将它们整合成一个高质量的类激活图，可以更好地突出与对象相关的像素。
2023-08-12 22:40:07
605
原创 Score-CAM：Score-Weighted Visual Explanations for Convolutional Neural Networks 论文阅读笔记
会议：CVPR时间：2020年现有类激活图的方法大多基于梯度如Grad-CAM、Grad-CAM++，这些方法容易受到梯度饱和、梯度噪声等问题的影响。为此本文提出一个全新的post-hoc的类激活图方法Score-CAM。Score-CAM通过每个激活图在目标类上的前向传递分数来获得其权重，从而摆脱了对梯度的依赖，通过权重与激活图的线性组合得到最终结果。
2023-08-12 22:29:13
343
原创 泰勒公式学习笔记
而在x=0时，如果我们能让函数的切线斜率和cos(x)相等的话就能得到更近似的函数如下图所示，否则近似的多项式函数的值在离x=0处很近的地方就会出现明显的偏差了。这就是我们学习泰勒公式的目的，通过一个多项式（由于多项式函数容易计算、求导、积分），在某点近似一个复杂的函数，以代替该函数研究相关性质。而当我们在处理不规则的函数时，也可以通过求导得到函数P中的每个参数，如上式所示，这就是泰勒多项式的一般形式。此时，我们计算cos(x)在0处的导数为-sin(0)=0，并带入P(x)中，可以得到。
2023-08-12 22:04:01
113
原创 Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization 论文阅读笔记
会议：ICCV时间：2017年本论文对CAM进行改进，解决了CAM必须添加GAP层，并重新训练等问题，提出Gradient-weighted Class Activation Mapping（Grad-CAM）。
2023-08-07 16:03:54
84
转载 梯度下降法理解
这里我想重新学习一下梯度下降算法，因为以前仅仅是对其应用和知道沿着梯度的方向能够使网络下降最快，进而使损失函数最优，但一直不理解梯度究竟是什么，所以趁着入学我想重新学习一下这部分知识。转载：https://blog.csdn.net/weixin_44671418/article/details/107480212。
2023-08-07 11:17:02
29
原创 正则化项 笔记
正则化项或正则惩罚项一般位于损失函数的后面，用于与经验风险构成结构风险，通过使其最小化使模型到达最优值。f∈FminN1i1∑NLyifxi))λJf)]其中L为经验风险，J⋅是度量模型f复杂度的函数，λ为控制经验风险和模型复杂度的权重，通常大于0。当最小化结构风险时，我们不仅要考虑最小化经验风险，同时还要考虑模型复杂度。
2023-08-07 11:13:28
105
原创 Hamming Distance
汉明距离是以理查德·卫斯里·汉明的名字命名的。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。比较简单的操作，就是可以通过异或得到两个字符串的差值，再计算其中1的个数即可。2143896 与 2233796 之间的汉明距离是 3。1011101 与 1001001 之间的汉明距离是 2。"toned" 与 "roses" 之间的汉明距离是 3。
2023-08-07 11:08:43
29
转载 卷积和反卷积（逆卷积，转置卷积）
转置卷积又叫反卷积、逆卷积。不过转置卷积是目前最为正规和主流的名称，因为这个名称更加贴切的描述了卷积的计算过程，而其他的名字容易造成误导。在主流的深度学习框架中，如TensorFlow，Pytorch，Keras中的函数名都是conv_transpose。所以学习转置卷积之前，我们一定要弄清楚标准名称，遇到他人说反卷积、逆卷积也要帮其纠正，让不正确的命名尽早的淹没在历史的长河中。我们先说一下为什么人们很喜欢叫转置卷积为反卷积或逆卷积。
2023-08-07 11:05:30
221
原创 Striving for simplicity: the all convolutional net 论文阅读笔记
会议：ICLR时间：2015年。
2023-08-07 10:59:34
405
1
原创 Visualizing and Understanding Convolutional Networks 论文阅读笔记
会议：ECCV时间：2014年本文是CNN领域可视化理解的开山之作，这篇文献告诉我们CNN的每一层到底学习到了什么特征，然后作者通过可视化进行调整网络，提高了精度。本文主要提出了一种新的可视化技术，该技术可以深入了解不同中间特征层（卷积核）的功能和分类器的操作，而通过了解这些功能或对神经网络模型进行诊断，能够辅助人们对网络模型进行优化。本文通过上述可视化方法对AlexNet进行改进，提出ZFNet。
2023-08-07 10:56:41
90
原创 Learning Deep Features for Discriminative Localization（CAM）论文解读
会议：CVPR时间：2016年本文在实验过程中发现，全局平均池化层（Global Average pooling）能够在图像级别对要检测的目标进行有效定位，并提出一个全新的方法class activation maps（CAM）。
2023-07-31 14:18:16
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人