![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Popular Opts
文章平均质量分 86
Popular Opts
zxucver
这个作者很懒,什么都没留下…
展开
-
梯度消失与梯度爆炸
简介梯度消失问题和梯度爆炸问题,总的来说可以称为梯度不稳定问题。ReLU激活函数,用Batch Normal,用残差结构解决梯度消失问题正则化来限制梯度爆炸梯度消失梯度消失的原始是反向传播时的链式法则。当模型的层数过多的时候,计算梯度的时候就会出现非常多的乘积项。用下面这个例子来理解:y1=w1x1+b1y_{1} = w_{1}x_{1} + b_{1}y1=w1x1+b1z1=σ(y1)z_{1} = \sigma(y_{1})z1=σ(y1)此时要更新参数b1b原创 2021-09-30 18:07:16 · 802 阅读 · 0 评论 -
transformer
transformer最早于2017年google机器翻译团队提出,也就是著名的《Attention Is All You Need》,transformer完全取代了以往的RNN和CNN结构,改为由transformer堆叠的方式构建模型。transformer在NLP领域首先取得了非常惊人的效果,随后DETR首次将transformer引入到了CV的目标检测任务重,随后VIT完全抛弃了CNN,改为完全由transformer实现基础的图像分类任务,之后transformer在CV领域的应用也变得一发原创 2021-09-28 15:43:10 · 3359 阅读 · 0 评论 -
深度学习中的激活函数总结
激活函数饱和问题一个激活函数h(n)h(n)h(n),当n趋近于正无穷,激活函数的导数趋近于0,称之为右饱和;当n趋近于负无穷,激活函数的导数趋近于0,称之为左饱和。当一个函数既满足左饱和又满足右饱和的时候我们称之为饱和。不满足上述两个条件的,称为不饱和激活函数。常见的激活函数,依照饱和或不饱和划分如下:饱和激活函数:sigmoidtanh不饱和激活函数:ReLULeaky ReLUPReLUSwishMish常用激活函数sigmoidg(z)=11+e−zg(z)原创 2021-09-24 15:13:08 · 334 阅读 · 0 评论 -
BN(Batch Normalization)层原理与作用
BN层最重要的作用是让加速网络的收敛速度,同时让网络训练变得更容易;另外调参过程也简单多了,对于初始化要求没那么高,而且可以使用大的学习率等,而没有使用BN的话,更大的学习率就可能导致训练发散,大学习率又反过来作用到训练速度上,加速了收敛速度,两者相辅相成。此外,也有一种说法是BN层可以提高网络的泛化能力,抑制过拟合,不过这个说法一直存在争议。原创 2021-01-20 01:54:41 · 37791 阅读 · 0 评论 -
如何理解转置卷积(transposed convolution)
转置卷积也被称为反卷积,常被用用于CNN中的上采样操作,比如分割任务,或GAN网络中。反卷积并不是常规卷积的完全逆操作,反卷积也起不到根据输出特征以及对应的卷积核,恢复原始输出的作用,它最多的作用就是有可学习参数的上采样操作,仅此而已。同时,反卷积操作并没有把正向卷积输出,对应的卷积核拿过来做转置使用,而是多了几个卷积核而已。此外,即便是把正向卷积输出对应的卷积核拿过做反卷积,它也恢复不出来原来的参数,恢复原来参数这种操作看起来并没有太大意义,因为只是想做上采样而已。原创 2021-01-31 16:28:06 · 2890 阅读 · 0 评论 -
如何计算CNN感受野、计算量和模型大小
下面以最经典的AlexNet模型为例子,计算感受野,模型计算量和大小(内存)。下面这张图是AlexNet的结构图,看起来比较直观。感受野感受野是检测和分割任务中比较重要的指标,它是一个逐层叠加的过程,计算到最后一层的卷积特征图输出上,它的计算公式是:RFi=RFi−1+(kernelsize−1)×stride,RF0=1RF_{i}=RF_{i-1}+(kernelsize-1)\tim...原创 2019-08-17 15:45:19 · 4454 阅读 · 1 评论 -
如何理解扩张卷积(dilated convolution)
扩张卷积(Dilated Convolution)也被称为空洞卷积或者膨胀卷积,是在标准的卷积核中注入空洞,以此来增加模型的感受野(reception field)。相比原来的正常卷积操作,扩张卷积多了一个参数: dilation rate,指的是卷积核的点的间隔数量,比如常规的卷积操作dilatation rate为1。它的论文是:《MULTI-SCALE CONTEXT AGGREGATION BYDILATED CONVOLUTIONS》原创 2019-08-16 18:35:15 · 43613 阅读 · 10 评论 -
关于梯度下降优化算法的概述
梯度下降算法是最流行的优化算法之一,并且是迄今为止最常见的优化神经网络的方法。同时,每个最先进的深度学习库包含各种梯度下降优化算法的实现,(例如: lasagne,caffe和keras)。然而,这些算法通常用作黑盒优化器,因为它们的优点和缺点的实际解释很难实现。本文旨在为您提供不同的梯度下降优化算法最直观的作用,这将有助于您更好的使用它们。我们首先要看梯度下降的不同变体。 然后,我们将简要总结训练过程中的挑战和困难。原创 2019-09-29 22:08:38 · 886 阅读 · 0 评论 -
理解交叉熵作为损失函数在神经网络中的作用
交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点: 而即便是ResNet取消了全连接层,也会在最后有一个1000个节点的输出层: 一般情况下,最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N,那么对于每一个样例,神经网络可以得到一个N维的原创 2017-06-18 15:59:10 · 57144 阅读 · 24 评论 -
如何理解卷积神经网络中的1*1卷积
我们都知道,卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野,当然随之而来的是更多的参数。早在1998年,LeCun大神发布的LetNet-5模型中就会出,图像空域内具有局部相关性,卷积的过程是对局部相关性的一直抽取。 但是在学习卷积神经网络的过程中,我们常常会看到一股清流般的存在—1*1的卷积!比如在残差网络的直连里: 残差网络的Bootleneck残差模块里: 比如在Go原创 2017-07-10 14:44:10 · 54933 阅读 · 22 评论 -
如何理解卷积神经网络中的权值共享
权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构,就是下面这个: 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个原创 2017-06-23 19:53:08 · 55249 阅读 · 21 评论 -
浅谈神经网络发展史:从莫克罗-彼特氏神经模型到深层神经网络
2016年,随着AlphaGo战胜了李世石,人工智能与深度学习达到了一个空前火热的状态。很多人也是第一次开始接触到了深度神经网络这个概念,但是其实神经网络的历史可以追溯到1943年,1943年的时候,二战都还没有结束。 中间的这段时间里,是由几个标志性的事件影响着神经网络算法的发展,其发展史大概可以分为三个阶段,下面我们就围绕这几个事件简要介绍这三个阶段。McCUlloch-Pitts Neuro原创 2017-05-21 12:58:37 · 7429 阅读 · 2 评论 -
理解激活函数在神经网络模型构建中的作用
什么是激活函数在生物学家研究大脑神经元工作机理时,发现如果一个神经元开始工作时,该神经元是一种被激活的状态,我想着大概就是为什么神经网络模型中有一个单元叫做激活函数。 那么什么是激活函数呢,我们可以从逻辑回归模型开始理解它,下图是一个Logistic回归分类器: 在上图中我们发现,Logistic回归分类器在对所有的输入做了线性相加(Net ipt function)之后,其结果经过了一原创 2017-06-01 12:02:36 · 12795 阅读 · 2 评论 -
深度学习开源图片数据库汇总
数据的准备工作是训练模型前的必要工作,显然这也是非常耗时的,所以在入门阶段我们完全可以用现有的开源图片库快速完成前期的准备工作:ImageNet ImageNet是根据WordNet层次结构(目前只有名词)组织的图像数据库,其中层次结构的每个节点都由数百和数千个图像描绘。 目前,数据库中每个节点平均拥有超过五百幅图像。 我们希望ImageNet将成为研究人员,教育工作者,学生以及分享我们对图片热情原创 2017-05-08 16:26:49 · 21112 阅读 · 7 评论 -
交叉熵损失(Cross Entropy)求导
Cross Entropy是分类问题中非常常见的一种损失函数,我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用,下面解释一下交叉熵损失的求导。原创 2019-10-03 00:29:52 · 9578 阅读 · 2 评论