深度学习
文章平均质量分 67
Pluto__315
这个作者很懒,什么都没留下…
展开
-
卷积神经网络——稠密连接网络(DenseNet)
ResNet可以训练出更深的CNN模型,从而实现更高的准确度。 ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”,这有助于训练过程中梯度的反向传播,从而能训练出更深的CNN网络。然而当CNN的层数变深时,输出到输入的路径就会变得更长,这就会出现一个问题: 梯度经过这么长的路径反向传播回输入的时候很可能就会消失,那有没有一种方法可以让网络又深梯度又不会消失?答案就是稠密连接网络(DenseNet)它的基本思路与ResNet一致,但是它建立的是前面所有层与后面层的密集连接,它的名称也是由原创 2022-05-21 21:14:44 · 1975 阅读 · 0 评论 -
卷积神经网络——残差网络(ResNet)
在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而两种问题:梯度消失和梯度爆炸梯度消失:若每一层的误差梯度小于1,反向传播时,网络越深,梯度越趋近于0梯度爆炸:若每一层的误差梯度大于1,反向传播时,网络越深,梯度越来越大退化问题随着层数的增加,预测效果反而越来越差。为了解决梯度消失或梯度爆炸问题,ResNet论文提出通过数据的预处理以及在网络中使用 BN层来解决。 为了解决深层网络中的退化问题,可以人为地让神经网络某些层跳过下一层神经元的连接,隔层原创 2022-05-21 20:52:43 · 8718 阅读 · 0 评论 -
批量规范化(批量归一化)——BN
训练深层神经网络是十分困难的,特别是在较短的时间内使他们收敛更加棘手。 在本节中,我们将介绍批量规范化(batch normalization),这是一种流行且有效的技术,可持续加速深层网络的收敛速度,但一般不改变模型精度。为什么需要使用批量归一化呢?总结来说:使用浅层模型时,随着模型训练的进行,当每层中参数更新时,靠近输出层的输出较难出现剧烈变化。而对深层神经网络来说,随着网络训练的进行,前一层参数的调整使得后一层输入数据的分布发生变化,各层在训练的过程中就需要不断的改变以适应学习这种新的数据分布。所原创 2022-05-21 20:34:47 · 2997 阅读 · 1 评论 -
卷积神经网络4——NiN
LeNet、AlexNet和VGG都有一个共同的设计模式:通过一系列的卷积层与汇聚层来提取空间结构特征;然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。然而这种形式的网络也存在一个问题:全连接层的参数太多,一条样本有多个分量(特征)进入全连接层。这极大地占用了内存与计算带宽,我们在训练中也可以感受到,除此以外还容易导致过拟合。网络中的网络(NiN)提供了一个非常简单的解决方案:在每个像素的通道上分别使用多层感知机, 不再使用全连接层,使用原创 2022-05-21 19:18:14 · 499 阅读 · 0 评论 -
卷积神经网络3——VGG(使用块的网络)(ImageNet-2014 NO.2)
虽然AlexNet证明深层神经网络卓有成效,但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。于是出现了使用块的思想,通过使用循环和子程序,可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。VGGNet网络结构简洁,迁移到其他图片数据上的泛化性能非常好。VGGNet现在依然经常被用来提取图像特征,该网络训练后的模型参数在其官网上开源了,可以用来在图像分类任务上进行在训练,即:提供了非常好的初始化权重,使用较为广泛。一个VGG块与经典卷积神经网络的基本组成部分类似,由一系列卷积层组原创 2022-05-21 18:47:11 · 1211 阅读 · 0 评论 -
卷积神经网络2——AlexNet(ImageNet-2012 NO.1)
AlexNet是从浅层网络到深层网络的关键一步,标志着DNN深度学习革命的开始。局部响应归一化原创 2022-05-21 18:36:23 · 403 阅读 · 0 评论 -
卷积神经网络1——LeNet(LeNet-5)
LeNet是最早的卷积神经网络。LeNet具有一个输入层,两个卷积层,两个池化层,三个全连接层。每个卷积快的基本单元是一个卷积层,一个sigmoid函数和平均汇聚层。输入层:需要对28X28的图像加上paddings(即周围填充0),变为32X32。这样的目的是为了防止原图像信息丢失。C1层:该层是一个卷积层。使用6个大小为5X5的卷积核,步长为1,对输入层进行卷积运算,特征图尺寸为32-5+1=28,因此产生6个大小为28X28的特征图。这么做够防止原图像输入的信息掉到卷积核边界之外。S2层:该层原创 2022-05-21 17:49:50 · 2297 阅读 · 2 评论 -
1×1卷积层的作用
因为使用了最小窗口,1×1卷积失去了卷积层的特有能力——在高度和宽度维度上,识别相邻元素间相互作用的能力。其实1×1卷积的作用在于:它不识别空间模式,只是融合通道。下图展示了使用1×1卷积核与3个输入通道和2个输出通道的互相关计算。我们可以简单的认为,这样的目的更多的是为了实现通道的线性变换,重新排列组合为更好的特征基底输出通道数是卷积层的超参数。每个输入通道有一个独立的二维卷积核,所有通道结果相加得到一个输出通道结果。每个输出通道有独立的三维卷积核。当以每像素为基础应用时,1×1卷积层相当原创 2022-05-21 17:45:56 · 1329 阅读 · 0 评论