- 博客(22)
- 收藏
- 关注
RSS订阅原创 二、解线性方程组的直接方法
设nnn阶线性方程组：{a11x1+a12x2+...+a1nxn=b1a21x1+a22x2+...+a2nxn=b2………………am1x1+am2x2+...+amnxn=bn(2−1)\begin {cases}a_{11}x_1+a_{12}x_2+...+a_{1n}x_n=b_1\\a_{21}x_1+a_{22}x_2+...+a_{2n}x_n=b_2\\\dots \dots \dots\dots\dots\dots\\a_{m1}x_1+a_{m2}x_2+...+a_{mn}
2021-10-30 23:40:45
724
原创 Interpreting and Disentangling Feature Components of Various Complexity from DNNS论文解读
摘要这篇文章旨在定义、量化以及分析DNN学习到的特征复杂度。作者提出了一种对于特征复杂度的通用定义。给定DNN中某一层的特征，文章中的方法从特征中理顺feature components of different orders。更进一步的，作者设计了a set of metrics来评估reliability、effectiveness以及significance of over-fitting of these feature components。此外，作者还成功发现了DNN网络表现和feature复
2021-10-28 22:46:03
561
原创 0 最优化问题数学概念补充
仿射集仿射集相关定义与证明给定空间的两个点x1,x2∈Rnx_1,x_2\in \mathbb{R}^nx1,x2∈Rn，我们可以确定一条过这两个点的直线：y=θx1+(1−θ)x2=x2+θ(x1−x2)y=\theta x_1+(1-\theta)x_2=x_2+\theta(x_1-x_2)y=θx1+(1−θ)x2=x2+θ(x1−x2)也就是我们从x2x_2x2出发，沿着x1−x2x_1-x_2x1−x2的方向任意变化θ\thetaθ值，这样就可以画出来整个一条直线。若
2021-10-28 11:14:20
123
原创 pytorch模块函数API介绍
sqrt函数原型：torch.sqrt(input, *, out=None) → Tensor这个函数返回输入input的开方：outi=inputiout_i=\sqrt{input_i}outi=inputi参数：input (Tensor)：输入tensorkeyword参数：out (Tensor, optional)：输出tensor使用示例：>>> a = torch.randn(4)>>> atensor([-2.0
2021-10-27 16:38:25
171
原创 一、最优化简介
二、实例：稀疏优化考虑线性方程组求解问题：Ax=b,(1.2.1)Ax=b,\quad\quad\quad\quad\quad(1.2.1)Ax=b,(1.2.1)其中向量 x∈Rnx\in\mathbb{R}^nx∈Rn，b∈Rmb\in\mathbb{R}^mb∈Rm，矩阵A∈Rm×nA\in\mathbb{R}^{m\times n}A∈Rm×n，且向量 bbb 的维数远小于向量 xxx的维数，即 m≪nm ≪ nm≪n．在自然科学和工程中常常遇到已知向量 bbb 和矩阵 AAA，想要重构向量
2021-10-26 20:05:12
1532
原创 七、约束优化算法
大量的数学问题需要解决 OvO这一节考虑约束优化问题：minf(x)s.t.x∈X(7.0.1)\min\quad f(x)\quad\quad\quad\quad\quad\quad\quad\\s.t. \quad x\in\mathcal{X}\quad\quad\quad\quad(7.0.1)minf(x)s.t.x∈X(7.0.1)这里x⊂Rnx\subset\mathbb{R}^nx⊂Rn为问题的可行域．与无约束问题不同，约束优化问题中自变量xxx不能任意取值，这导致许多无约束优化算法
2021-10-26 19:35:51
1778
原创 Explaining Classifiers using Adversarial Perturbations on the Perceptual Ball论文解读
3. Methodology将判别器定义为C(⋅)C(\cdot)C(⋅)，接受输入为图像xxx，输出为kkk维confidence vector。对于那些将每个图像分类为一类的判别器，我们设图像给出的标签i=arg maxjCj(x)i=\argmax\limits_{j}C_j(x)i=jargmaxCj(x)...
2021-10-26 12:20:12
230
原创 The Robustness of Deep Networks A geometrical perspective论文解读
sci论文地址Introduction神经网络近些年已经在许多场景中得到了应用，但是一些神经网络的基础属性还没有被理解，这也是近些年研究的重点。更具体来说，神经网络对各种类型perturbation的robustness受到了很大的关注。图1阐述了深度神经网络对small additive perturbation的脆弱性：A dual phenomenon was observed in [3]...
2021-10-25 18:57:33
400
原创 One Pixel Attack for Fooling Deep Neural Networks论文解读
论文地址摘要近期的研究揭示出深度神经网络（DNN）的输出可以很轻易地被通过在输入向量中添加relatively small perturbation来进行修改。在这篇论文中，作者分析了在一种极端情况下（只有单个像素可以被修改）的攻击。对于这种情况我们提出了一种基于differential evolution（DE）的novel method来生成单像素 adversarial perturbation。这种攻击方式需要更少的adversarial信息（一种黑盒攻击）并且由于DE的inherent fea
2021-10-25 00:10:16
394
原创 Visualizing and Understanding Convolutional Networks论文解读
这篇文章14年发表在ECCV，可以说是CNN领域可视化理解的开山之作，这篇文献告诉我们CNN的每一层到底学习到了什么特征，然后作者通过可视化进行调整网络，提高了精度。在CNN的研究中，很多学者不明白，为什么通过某种调参、改动网络结构等精度会提高。而这篇文献的目的就是通过特征可视化，来告诉我们如何通过可视化的教读，查看我们的精度确实提高了，2.1 Visualization with a deconvnet想要理解一个convnet的operation首先需要解释中间层的feature activity。
2021-10-23 22:07:06
363
原创 Deconvolutional Networks论文解读
3 Model首先考虑一个作用于图片的单层的Deconvolutional Network layer。这一层获取一张图片作为输入，这个图片用yiy^iyi进行表示，图片由K0K_0K0个颜色通道组成：y1i,…,yK0iy_1^i,\dots,y_{K_0}^iy1i,…,yK0i，我们将这些颜色通道中的每一个通道ccc都表示为一个由K1K_1K1个latent特征图 zkiz_k^izki 与filter fk,cf_{k,c}fk,c 卷积结果的的线性加和：∑k=1K1zki⊕fk,
2021-10-23 10:04:07
629
原创 统计学习概论
统计学习方法都是由模型、策略和算法构成的，即统计学习方法由三要素构成，可以简单地表示为：方法=模型+策略+算法下面论述监督学习中的统计学习三要素。非监督学习、强化学习也同样拥有这三要素。可以说构建一种统计学习方法就是确定具体的统计学习三要素。一、模型在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间（hypothesis space）包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的
2021-10-20 10:18:46
303
原创 pytorch中hook的使用
在pytorch中，可以利用Hook获取、改变网络中间某一层变量的值和梯度，从而便捷地分析网络，而不用专门改变网络结构。一、torch.Tensor中的hook在使用pytorch时，只有叶节点（即直接指定数值的节点，而不是由其他变量计算得到的节点，比如网络输入）的梯度会保留，其余中间节点梯度在反向传播完成后就会自动释放以节省显存。比如：import torchx=torch.Tensor([1,2]).requires_grad_(True)y=torch.Tensor([3,4]).req
2021-10-12 17:11:21
601
原创 pytorch梯度的自动求取
一、概念如果将Tensor的属性.requires_grad属性设置为True，它将开始追踪在其上的所有操作（主要目的是利用链式法则进行梯度传播）。完成计算后，可以调用.backward()方法来完成所有梯度计算。此Tensor的梯度将累计到.grad属性中。注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。这为了避免向量（甚至更高维张量）对张量求导，而转换成标量对张量求导。举个例子，假设形状为m×nm\times nm
2021-10-11 19:18:14
296
原创 python运算符重载
一、基础知识二、索引和分片：__getitem__ 和 __setitem__三、索引迭代：__getitem__四、可迭代对象：__iter__ 和 __next__五、成员关系：__constains__ 、__iter__ 和 __getitem__六、属性访问：__getattr__ 和 __setattr__七、字符串显示：__repr__ 和 __str__八、右侧加法和原位置加法：__radd__和__iadd__九、调用表达式：__call__这个方法的功能类似于在类中重载
2021-10-10 09:51:32
124
原创 python类代码编写细节
一、class语句python的class就和def一样，class语句是对象的创建者并且是一个隐含的赋值运算：当它执行时会产生类对象，并把其引用值存储到前面所使用的名称中。此外像def一样，class语句也是真正的可执行代码。直到python抵达并运行定义的class语句前，我们的类都不存在。1.1 一般形式class语句的一般形式如下（当列出一个以上的父类会触发多重继承）：class name(superclass,...): attr=value def method(self,...).
2021-10-10 09:24:01
429
原创 python核心数据类型
一、数字待补充 136二、字符串从严格意义上来说，字符串是由单字符的字符串所组成的序列，其他更一般的序列类型还包括列表和元组。2.1 序列操作我们可以通过内置的len函数验证序列的长度，并通过索引操作得到其各个元素：s='spam'print(len(s))# 4print(s[0])# 's'print(s[-1])# 'm'除了简单地从位置进行索引，序列也支持切片（slice）操作，这是一种一步就能够提取整个分片的方法，例如：print(s[1:3])#'pa'切片的
2021-10-09 18:22:37
138
原创 opencv对图片的变换
resize这个函数用于对图片进行resizepython调用语法：cv2.resize(src, dsize[, dst[, fx[, fy[, interpolation]]]]) → dst参数说明：src：源图片dst：Destination图片。这个图片的大小为dsize（当这个参数非零时）或从src.size()，fx，fy中计算得到的大小。注意dst的类型和src相同dsize：Destination图片大小。如果这个值为0，那么它会通过如下的过程计算：dsize=Size
2021-10-09 17:18:20
111
原创 opencv数据的读取
imread函数的作用是从文件中读取一张图片。python调用语法：cv2.imread(filename[, flags]) → retval参数说明：filename：需要载入的文件名flags：指定载入图片的颜色类型>0时返回三通道的彩色图片=0时返回灰度图<0时Return the loaded image as is. Note that in the current implementation the alpha channel, if any, is stri
2021-10-09 16:56:27
621
原创 五、导数和微分
一、导数的概念定义1设函数y=f(x)y=f(x)y=f(x)在点x0x_0x0的某邻域内有定义，若极限limx→x0f(x)−f(x0)x−x0(3)\lim\limits_{x\to x_0}\frac{f(x)-f(x_0)}{x-x_0}\quad\quad\quad\quad(3)x→x0limx−x0f(x)−f(x0)(3)存在，则称函数fff在点x0x_0x0可导，并称该极限为函数fff在点x0x_0x0的导数，记作f′(x0)f'(x_0)f′(x0)令x=x
2021-10-08 20:01:59
143
原创 四、函数的连续性
一、连续性概念1.1 函数在一点的连续性定义1设函数fff在某U(x0)U(x_0)U(x0)上有定义，若：limx→x0f(x)=f(x0)(1)\lim\limits_{x\to x_0}f(x)=f(x_0)\quad\quad\quad\quad(1)x→x0limf(x)=f(x0)(1)则称fff在点x0x_0x0连续。...
2021-10-08 19:24:16
115
原创 三、函数极限
一、函数极限的概念1.1 xxx趋于∞\infty∞时函数的极限定义1：设fff为定义在[a,+∞)[a,+\infty)[a,+∞)上的函数，AAA为定数。若对任给的ϵ>0\epsilon>0ϵ>0，存在正数M(≥a)M(\ge a)M(≥a)，使得当x>Mx>Mx>M时，有：∣f(x)−A∣<ϵ|f(x)-A|<\epsilon∣f(x)−A∣<ϵ则称函数fff当xxx趋于+∞+\infty+∞时以AAA为极限，记作：limx→+∞f(
2021-10-05 18:10:12
535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人