deeplearning中常用backbone

最新推荐文章于 2024-07-02 21:05:43 发布
最新推荐文章于 2024-07-02 21:05:43 发布
阅读量533 收藏 1
点赞数
分类专栏： deep-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whitesilence/article/details/119133873
版权

Alexnet

在imagenet2012图像分类challenge上赢得了冠军。
论文：论文
详细解析
在这里插入图片描述

Vgg

论文
VGG是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样.
指出对于给定的感受野，采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。
两个33卷积堆叠的感受野等价于一个55卷积的感受野，三个33卷积堆叠的感受野等价于一个77卷积的感受野
vgg结构简单，整个网络采用连续的33卷积堆叠和22最大池化层。但vgg有三个全连接层，耗费更多计算资源。
在这里插入图片描述

Googlenet

论文
参考、摘自：https://zhuanlan.zhihu.com/p/32702031
inception（也称GoogLeNet）是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如过拟合、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。
整个inception结构就是由多个这样的inception模块串联起来的。inception结构的主要贡献有两个：一是使用1x1的卷积来进行升降维；二是在多个尺寸上同时进行卷积再聚合。
在这里插入图片描述
在这里插入图片描述

11卷积的作用：1）在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征.11的卷积会重组前一层的通道并再经过一次非线性激活，能提取更强的非线性特征
2）使用1*1卷积可进行通道降维，降低计算复杂度。
在多个尺度上分别进行卷积再聚合：1）在多个尺度上同时进行卷积，能提取不同尺度的特征。
随着网络的深度加大，有效的梯度回传能力变弱。因此在网络的中间阶段添加辅助分类器，可以期望在分类器的较低阶段鼓励区分，增加传播回来的梯度信号，并提供额外的正则化。
在这里插入图片描述

inceptionv2-inceptionv3-inceptionv4-inception_Resnet(参考https://zhuanlan.zhihu.com/p/30756181）

inception v1—(使用BN层，使用2个33卷积替代一个55卷积，使用1n和n1的非对称卷积替代n*n的对称卷积)—>inception v2—>(先pool再inception会造成特征图大小急剧衰减，会丢失大量信息，会造成表达瓶颈问题，对模型的训练造成困难，inceptionv3提出一种并行的降维结构)—>inception v3—(提出stem模块)—>inception v4—(引入残差连接)—>inception_Resnet

Resnet

人们发现随着网络深度的增加，模型精度并不总是提升，这可能是因为更深的网络会伴随梯度消失/爆炸问题，从而阻碍了网络的收敛，出现了退化，故加入恒等映射。
整个ResNet不使用dropout，全部使用BN
在这里插入图片描述
两种block结构：
在这里插入图片描述
贴一个https://zhuanlan.zhihu.com/p/54289848上总结的Resnet常见改进
在这里插入图片描述
在这里插入图片描述

Resnext

论文
2017年何凯明团队提出Resnext,基于Inception分析了神经网络的标准范式split-transform-merge模式。

Resnext网络结构如下表所示，其中C=32，表示分成32组，324d中的4表示每组4个通道。在这里插入图片描述
下图中a是resnext的基本结构单元，把输出的11合并就等价于b了，再把输入的1*1也合并就等价于c了。
在这里插入图片描述
如下图是resnet中另一种基础block的结构对应的renext变形结构及其等价结构
在这里插入图片描述

Densenet

论文
2018年提出，在同等规模下比resnet效果好一丢丢，但显存占用较大。
相比ResNet，Densenet中每个层都会与前面的所有层在channel维度上concat，这可以实现特征重用，提升效率。
DenseNet的网络结构主要由DenseBlock和Transition组成.DenseBlock如下图所示。Transition层包括一个1x1的卷积和2x2的AvgPooling，结构为BN+ReLU+1x1 Conv+2x2 AvgPooling，Transition层一方面降低特征图分辨率，一方面降低特征图通道数
在这里插入图片描述
Densenet结构：
在这里插入图片描述

Mobilenet

2017年Google提出mobilenetv1.
mobilenetv1的创新点：1）提出了深度可分离卷积
2）使用relu6作为激活函数，这个激活函数在嵌入设备中效果更好，在低精度计算下具有更强的鲁棒性。
relu(6)=min(max(0,x),6)
2018年在v1的基础上提出了v2
1）引入倒残差模块
残差模块：在resnet中，输入先经过11卷积进行压缩，然后使用33卷积进行特征提取，最后再使用11卷积把通道数变换回去。整个过程是压缩->卷积->扩张,这样做的目的是减少33模块的计算量，提高残差模块的计算效率。
倒残差模块：输入首先经过11卷积进行通道扩张，然后使用33的depthwise卷积，最后使用11的pointwise卷积将通道数压缩回去。这个过程是扩张->卷积->压缩。因为dw和pw的卷积减少了参数量，但会损失特征。depthwise卷积不能改变通道数，因此特征提取受限于输入的通道数，所以将通道数先提升上去，通道越多保留的特征越多。
2）将block中最后一个11卷积的激活函数改为线性激活函数。
对低维做Relu运算，容易造成信息丢失。而如果在高维进行Relu运算，则信息丢失会很少
如图mobilenetv1与mobilenetv2的比较（来自https://zhuanlan.zhihu.com/p/70703846中的图片）
在这里插入图片描述
在这里插入图片描述
2019年提出v3（来自https://zhuanlan.zhihu.com/p/70703846）
1)网络的架构基于NAS实现的MnasNet
2)引入V1的深度可分离卷积
3)引入v2的具有线性瓶颈的倒残差结构
4)引入SE模块
5)使用了一种新的激活函数h-swish(x)
6)修改了v2网络端部最后阶段

Shufflenet

提出两个新操作：逐点群卷积(point group convolution)和通道混洗(channel shuffle)。
因为大量的1*1卷积会耗费很多计算资源，论文提出了逐点群卷积帮助降低计算复杂度。但是使用逐点群卷积会有副作用，即某个通道输出仅从一小部分输入通道中导出。这样会降低通道组之间的信息流通，降低了信息表示能力。故在此基础上，论文提出通道混洗帮助信息流通。
如图为shuffle net unit结构：
在这里插入图片描述
在这里插入图片描述

Vovnet

vovnet_v1(2019): 论文
vovnet_v2(2020): 论文
代码https://github.com/youngwanLEE/vovnet-detectron2
vovnet是在Densenet的基础上改进来的。Densenet通过密集连接将不同感受域的中间特征聚合在一起，因此在目标检测任务中表现出良好的性能。尽管Densenet相比于Resnet有更少的模型参数和FLOPs但其推理速度比Resnet慢，是低能耗的。Densnet中由于密集连接，channel数线性增长，导致内存访问开销大，计算和能耗也过大。为了改善这一问题，vovnet提出one-shot-aggregation(OSA)模块。OSA模块仅在模块最后一个特征层处一次聚合之前的特征层。
除了模型参数量和FLOPs还有内存访问成本（memory access cost,MAC)，GPU并行计算利用率等因素影响能耗和时间消耗。
Densnet中大量的密集连接导致更多的内存消耗，同时由于密集连接导致channel数增加，为了降channel数，会用到11卷积，但对于11的卷积GPU并行利用率下降。
在这里插入图片描述

vovnet_v1的几种网络结构及与其他网络结构的比较
在这里插入图片描述
在这里插入图片描述
vovnet_v2 在vovnet_v1的基础上加入了残差结构和se模块，由于随着vovnet的深度加深，其表现有所退化，这是由于过多的叠加OSA模块，conv等变换函数的增加，使得梯度的反向传播逐渐困难所以借鉴resnet加入残差结构。同时为了进一步提升效果加入了SE模块。
在这里插入图片描述

ghostnet

代码：https://github.com/huawei-noah/CV-Backbones#other-versions
论文：https://arxiv.org/pdf/1911.11907.pdf
通过对比分析，发现传统卷积输出的特征图高度相似，这些相似的特征图与CNN强大的特征提取能力正相关。如是为了节约计算，本文提出利用简单的线性操作来获得更多的相似特征图。
1.首先用常规卷积得到本征特征图，然后将得到的特征图用一系列线性运算（包括恒等映射）生成更多的相似特征图
在这里插入图片描述
在这里插入图片描述

EfficientNet

论文
代码：https://github.com/lukemelas/EfficientNet-PyTorch
解读参考：https://zhuanlan.zhihu.com/p/70369784
文中主要验证了网络深度、宽度和分辨率之间的平衡可以导致更好的性能表现。提出了一种新的缩放方法，使用一个简单高效的复合系数来完成对深度、宽度、分辨率所有维度的统一缩放。以优化模型精度和计算量为目标，搜索得到一种基于移动应用的高效baseline模型efficientnet

代码参考：

https://github.com/Cadene/pretrained-models.pytorch
https://github.com/open-mmlab/mmclassification/blob/master/README_zh-CN.md
https://github.com/pytorch/vision/tree/master/torchvision/models

whitesilence
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DeepLearing—CV系列（十五）——目标检测中的Data Augmentation、Backbone、Head、Neck、Loss Function的汇总
wa1tzy的博客
06-27 939
文章目录一、数据增强方式二、解决数据不均衡三、常用backbone四、常用Head4.1 Dense Prediction (one-stage):4.2 Sparse Prediction (two-stage):五、常用neck5.1 Additional blocks:5.2 Path-aggregation blocks:六、Skip-connections七、常用激活函数和loss7.1 激活函数：7.2 loss：八、正则化和BN方式8.1 正则化：8.2 BN：九、训练技巧 一、数据增强方式
【论文笔记】【ICCV 2021 Oral】Evidential Deep Learning for Open Set Action Recognition
qq_36018232的博客
08-26 3590
Evidential Deep Learning for Open Set Action Recognition摘要解决问题本文贡献模型Overview模型结构第一部分 Evidential Neural Network第二部分 Evidential Uncertainty Calibration第三部分 Contrastive Evidence Debiasing实验DatasetEvaluation Protocol 论文地址：https://arxiv.org/pdf/2107.10161.pdf 摘
目标检测常用backbone、数据集
qq_38878964的博客
09-20 550
目标检测常用backbone、数据集
各种常用backbone，分类网络（CNN类和Transforme类）
weixin_43112053的博客
10-21 1677
各种backone，分类网络。CNN和transform对比
backbone是什么？
最新发布
AndrewPerfect的博客
07-02 1034
在深度学习中，特别是计算机视觉领域，。它通常是卷积神经网络（CNN），其任务是从输入图像中提取高层次特征，这些特征然后被用于各种任务，如目标检测、图像分割、分类等。
深度学习常用的backbone有哪些
a486259的博客
09-28 1万+
深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNet。
CV+Deep Learning——网络架构Pytorch复现系列——Detection(二：RetinaNet)更换backbones(DarkNet)
对方正在输入中...
01-14 1310
上一话CV+Deep Learning——网络架构Pytorch复现系列——Detection(一：SSD:Single Shot MultiBox Detector 4.推理Detect)https://blog.csdn.net/XiaoyYidiaodiao/article/details/128683973?spm=1001.2014.3001.5501复现Object Detection，会复现的网络架构有：1.SSD: Single Shot MultiBox Detector(√)2.Reti
Deep Learning-5 深度学习-网络模型
weixin_42914706的博客
06-27 782
*原理:**一层的输出是由前一层的输出与该层的输入之和得到的。这个残差连接可以被看作是一个跳跃连接，将前一层的信息直接传递给后面的层。这种设计使得网络可以更轻松地学习到恒等映射，从而提高了网络的性能模型分类基本描述应用衍生模型resnet残差网络一种深度残差网络，包含50层深度，其中“50”表示网络包含50个卷积层和一个全连接层视觉任务表现卓越，应用于图像识别、目标检测和图像分割稀疏网络结构一种深度卷积神经网络（CNN）架构，由Google在2014年提出。
【点云系列】综述： Deep Learning for 3D Point Clouds: A Survey
weixin_43882112的博客
12-03 4949
文章目录摘要简介：2 背景2.1 数据集2.2 衡量指标3 3D形状分类3.1基于多视角的方法3.2基于体素的方法3.3 基于点的方法3.3.1逐点MLP网络3.3.2基于卷积的网络3.3.3基于图的网络3.3.4基于数据索引的方法3.3.5其他方法小结4 3D物体检测与跟踪4.1 3D物体检测4.1.1 基于候选区域的方法4.1.2 single-shot方法4.2 3D对象跟踪4.3 3D场景流估计4.4 小结：5 3D点云分割5.1 3D 语义分割5.1.1 基于投影的方法5.1.2 基于离散的方法5
论文笔记-Applications of Deep Learning in Fundus Images: A Review（1）
XZH16047129的博客
07-10 2219
文章目录 目录 摘要 1.引言 2.损伤检测 2.1 出血HEs（对应label：渗透） 2.2微血管瘤 2.3渗出物（对应label：无灌注区） 2.4.多种病变 3.疾病诊断/分级 3.1糖尿病性视网膜病变 3.1.1 结合病变检测的方法 3.1.2其他方法 3.2糖尿病性黄斑水肿 摘要 利用眼底图像进行眼病的早期筛查具有重要的临床意义。由于其强大的性能，深度学习在病变分割、生物标记分割、疾病诊断和图像合成等相关应用中越来越流行。因...
【AI】深度学习索引 Deep Learning Index
北境の守望者
09-09 913
通过层次化的方法可以让计算机通过构建简单的概念来学习复杂概念. 为了获得优异的性能, 我们需要构建一个很深(层次很多)的关系图. 因此我们把这一类方法就做深度学习. 深度就是深度, 仅此而已. 简介 Intro 深度前馈网络 Deep Feedforward Network / 多层感知机 Multilayer Perceptron (MLP) 感知机 Perceptron 卷积神...
论文学习-深度学习目标检测2014至201901综述-Deep Learning for Generic Object Detection A Survey
日拱一卒
02-14 433
写在前面 paper：https://arxiv.org/abs/1809.02165 github：https://github.com/hoya012/deep_learning_object_detection，A paper list of object detection using deep learning 这篇paper对深度学习目标检测2014至201901取得的进展进行综述，包...
【DL】CNN 的骨干网络 backbone
北境の守望者
05-07 9296
Backto Deep Learning Index CNN Backbone往往是各种CNN模型的一个共享结构。 概念中提到，它是Object Detection, Scene Parsing, OCR等任务的前导性任务。 常用的 backbone 有 AlexNet: https://papers.nips.cc/paper/4824-imagenet-classification-wit...
backbone新手学习方法
小哈咪
08-20 2940
下面这些提示，可以让你避免我们在进行Backbone.js开发时所碰到错误： 1. 视图（Views）是数据无关的(Data-Less) 数据属于模型（models）不是视图。下次你发现 你在一个视图中存储数据(或者更糟：在DOM里)，马上把它移到model里。 如果你没有model，创建一个非常简单： this.viewStat
深度学习框架-Backbone汇总
热门推荐
David's Tweet
01-17 4万+
Backbone—— Neck —— Head 1.Backbone：翻译为骨干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进...
Backbone入门基础 - 集合
Joyce的前端日常
09-07 1527
集合基本用法、事件以及与服务器交互
万字长文解析深度学习中的术语
m0_73832962的博客
08-02 1780
集成模型是一种机器学习方法，在预测过程中结合多个其他模型。这些模型称为基本估计器。集成模型提供了一种解决方案来克服构建单个估计器的技术挑战。
深度学习中的backbone的意思
weixin_43168650的博客
03-28 7693
深度学习中的backbone的意思Backbone Backbone backbone原意是指人的脊梁骨，后来引申为支柱、核心的意思，在神经网络中，尤其是CV领域，一般先对图像进行特征提取（常见的有vgg net，resnet，谷歌的inception），这一部分是整个CV任务的根基，因为后续的下游任务都是基于提取出来的图像特征去做文章（比如分类、生成等）。 主干网络，用来做特征提取的网络，代表网络的一部分，一般用于前端提取图片信息，生成特征图feature map，供后面的网络使用。通常用VGG或者Re
0038-目标检测-YoloV3替换各种轻量级backbone
左手coding，右手cooking
01-27 1993
参考链接 YOLO-Multi-Backbones-Attention
神经网络中Backbone
12-11
在神经网络中，Backbone指的是网络的主干部分，通常由多个卷积层和池化层组成，用于提取输入数据的特征。Backbone网络的输出通常会被送入其他网络层进行进一步的处理，例如分类、检测、分等任务。Backbone网络的设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值