CNN
文章平均质量分 92
卷积神经网络学习
lingchen1906
这个作者很懒,什么都没留下…
展开
-
【CNN】ShuffleNet系列(V1,V2)
ShuffleNetV1:提出使用组卷积优化1X1卷积,来降低Flops;同时提出channel shuffle的概念来增加不同组间数据的交互;ShuffleNetV2:提出了设计轻量快速模型的四个准则;并根据准则重新优化了shufflenet网络结构,具体讨论和分析见上文。原文链接。原创 2023-03-13 14:37:34 · 734 阅读 · 0 评论 -
【CNN】FractalNet——与DenseNet有异曲同工之妙
ResNet收敛快,但还是要经过基本的卷积结构,卷积通用的问题是缺少有效的正则化方法。所以其实FratalNet也算是ResNet的近亲,这大概也是为什么业界还是ResNet用得多的原因吧——反正都差不多,不如挑个结构最简单的。观察上图中左半部分,描述的是网络的单个模块(block)的结构。注意,这里的fC不是CNN中常用到的全连接层, 而是指分形次数为 C 的模块。(6)f4(z)作为一个block,如图中最右边的网络所示,完整的网络接了5个block,block之间用Pool层连接,最后是预测层。原创 2023-03-01 09:53:40 · 186 阅读 · 0 评论 -
【CNN】DenseNet——从特征角度考虑的神经网络
作为CVPR2017年的Best Paper, DenseNet脱离了通过加深网络层数(VGG,ResNet)和加宽网络结构(GoogLeNet)来提升网络性能的定式思维,从特征的角度考虑, 通过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了梯度弥散问题的产生。结合信息流和特征复用的假设, DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文。先列下DenseNet的几个优点,感受下它的强大:1、减轻了vanishing-gradient(梯度消失)原创 2023-03-01 09:17:20 · 818 阅读 · 1 评论 -
【CNN】MobileNet——卷积神经网络中轻量级的经典
作者实验发现 V2 网络最后一部分结构可以优化,如Figure5所示,原始的结构用 1x1 的卷积来调整 feature 的维度,从而提高预测的精度,但是这一部分也会造成一定的延时,为了减少延时,作者把 average pooling 提前,这样的话,这样就提前把 feature 的 size 减下来了(pooling 之后 feature size 从 7x7 降到了 1x1)。这样一来延时减小了,但是试验证明精度却几乎没有降低。原创 2022-11-22 23:29:27 · 2079 阅读 · 0 评论 -
【CNN】SENet——将注意力机制引入通道维度
(1)提出背景:卷积核通常被看做是在局部感受野上,在空间上和通道维度上同时对信息进行相乘求和的计算。现有网络很多都是主要在空间维度方面来进行特征的融合(如Inception的多尺度)。(2)通道维度的注意力机制:在常规的卷积操作中,输入信息的每个通道进行计算后的结果会进行求和输出,这时每个通道的重要程度是相同的。而通道维度的注意力机制,则通过学习的方式来自动获取到每个特征通道的重要程度(即feature map层的权重),以增强有用的通道特征,抑制不重要的通道特征。原创 2022-11-22 23:28:45 · 2608 阅读 · 0 评论 -
【CNN】ResNet——开启的深度学习从1到无限可能的新时代
深度残差网络(Deep residual network, ResNet)的提出是CNN图像史上的一件里程碑事件,ResNet在2015年发表当年取得了图像分类,检测等等5项大赛第一,并又一次刷新了CNN模型在ImageNet上的历史记录。直到今天,各种最先进的模型中依然处处可见残差连接的身影,其paper引用量是CV领域第一名。ResNet的作者何恺明也因此摘得CVPR2016最佳论文奖。原创 2022-11-22 20:26:41 · 929 阅读 · 0 评论 -
【CNN】GoogLeNet——大胆创新网络结构
2014年,GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了图片分类大赛第一名、VGG紧随其后,这两类模型结构的共同特点是网络深度更深了。原创 2022-11-22 18:06:14 · 659 阅读 · 0 评论 -
【CNN】VggNet——加深版的AlexNet
VGG中的所有卷积层kernel size,stride和padding都相同,层与层之间使用max-pooling(最大化池)分开,所有隐层的激活单元都采用ReLU函数,最后接3层全连接层、softmax输出层构成。整个模型结构异常简单明了,这也是为什么直到今天VGG也依然被很多工作用于图像的特征提取器的原因:大道至简。Vgg证明了较深的层级结构可以帮助模型更好地提取特征,所谓的更好是指可以提取到蕴含语义信息更多的高级特征,这种高级语义的特征对分类任务很有帮助。原创 2022-11-22 12:20:09 · 251 阅读 · 0 评论 -
【CNN】ZFNet——让卷积神经网络不再是一个黑盒模型。
ZFNet在2013年 ILSVRC 图像分类竞赛获得冠军,错误率11.19% ,比2012年的AlexNet降低了5%,ZFNet是由 Matthew D.Zeiler 和 Rob Fergus 在 AlexNet 基础上提出的大型卷积网络。ZFNet解释了为什么卷积神经网络可以在图像分类上表现的如此出色,以及研究了如何优化卷积神经网络。ZFNet提出了一种可视化的技术,通过可视化,我们就可以了解卷积神经网络中间层的功能和分类器的操作,这样就就可以找到较好的模型。ZFNet还进行消融实验来研究模型中的每个原创 2022-11-22 10:58:23 · 1580 阅读 · 2 评论 -
【CNN】AlexNet——开启深度学习从0到1的时代
由于LRN模仿生物神经系统的侧抑制机制,对局部神经元的活动创建竞争机制,使得响应比较大的值会更大,提高了模型的泛化能力,Hinton在ImageNet中的实验准确率分别提升了1.4%和1.2%。但之后的工作却并不怎么认同这门技术,以至于直到现在都是一个争议性的技术,使用的很少。原创 2022-11-21 17:12:32 · 621 阅读 · 0 评论 -
【CNN】LeNet——卷积神经网络的开山鼻祖
LeNet-5诞生于1994年,是最早的卷积神经网络之一, 由Yann LeCun完成,推动了深度学习领域的发展。在那时候,没有GPU帮助训练模型,甚至CPU的速度也很慢,因此,LeNet5通过巧妙的设计,利用卷积、参数共享、池化等操作提取特征,避免了大量的计算成本,最后再使用全连接神经网络进行分类识别,这个网络也是最近大量神经网络架构的起点,给这个领域带来了许多灵感。LeNet-5卷积神经网络的结构组成为也很简单:两个卷积层convolutions,附带两次下采样(通过池化方法实现),和三个全连接层,如下原创 2022-11-21 11:15:29 · 2126 阅读 · 0 评论 -
【CNN】初识卷积
而卷积神经网络的不易解释性就在于此,随着模型的复杂,抽象出的kernel千千万万,我们难以去解释每个kernel的具体含义,也难以介绍每个中间层和中间结点的含义。原创 2022-11-20 23:38:10 · 850 阅读 · 0 评论