CNN backbone 总结笔记

最新推荐文章于 2024-05-30 17:36:13 发布
最新推荐文章于 2024-05-30 17:36:13 发布
阅读量3.9k 收藏 40
点赞数 7
分类专栏： 概念总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/francislucien2017/article/details/103610831
版权

算是一篇梳理backbone的总结笔记，前面部分不少内容都是照搬 reference 2 的，稍微总结了一下里面的内容，后面增加了其中遗漏的以及今年新出的网络（FPN，Hourglass，ResNeXt，DCN，DPN，SENet，MobileNet v3），用了很多网图，联系侵删；

Reference: 

1. https://arxiv.org/pdf/1908.03673.pdf，19年8月的目标检测硬核综述；

2. https://www.cnblogs.com/silence-cho/p/11620863.html，backbone总结的很细致了，强烈推荐；

下图是目标检测的发展历程，可以看到其中backbone对于其发展起到了至关重要的作用，大多数milestone都有在backbone上有新的创新。

其发展方向主要有三种类型：

1. 深度：网络层数增加，VGG -> ResNet -> ResNeXt

2. 模块化：GoogLeNet系列，ResNeXt（Inception 结构）

3. 轻量：MobileNet系列，ShuffleNet；

一些比较早的网络结构大致了解一下即可。

  • LeNet-5：
    • 结构简单，主要是卷积和全连接；

  • AlexNet：
    • 分为上下两部分卷积，因算力不足分别放在两块GPU上；
    • 使用ReLU替代Sigmoid，有效缓解了梯度消失问题；
    • 使用局部相应归一化；
    • 使用数据增广和dropput防止过拟合；

  • ZFNet：
    • 将AlexNet起始的卷积由（11x11，stride 4）修改为 （7x7，stride 2）
    • 增加中间卷积核的通道数；

  •  VGGNet：
    • 结构简洁，5层卷积，3个全连接，softmax作为输出，层之间用max-pooling分开，隐层采用ReLU激活函数；
    • 采用小卷积核（3x3）和多卷积核，减少参数也增加了非线性映射（增强表达能力）；
    • 结论：局部响应归一化无增益；网络层数加深性能变好；多个小卷积核由于单个大卷积核；

  • GoogLeNet（Inception） v1：
    • 引入inception结构，性能和vgg差不多但参数量少很多：既保持网络结构的稀疏性（减少参数，减轻过拟合），又能利用密集矩阵的高计算你性能，Inception网络结构的主要思想是寻找用密集成分来近似最优局部稀疏连接；
    • 加深的基础上加宽，使用稀疏的网路结构又能产生稠密的数据；
    • 采用不同大小的卷积核获得不同大小的感受野，最后在channel上拼接实现不同尺度特征融合；
    • 采用1x1卷积接一个ReLU，既减少计算量增加了非线性能力；
    • 采用 average pool 替代全连接层；

  • GoogLeNet（Inception） v2：
    • 用两个3*3卷积代替一个5*5卷积，降低参数量；
    • 将滤波器大小nxn的卷积分解为1xn和nx1卷积的组合（7x7卷积相当于首先执行1x7卷积，然后在其输出上执行7x1卷积（在中度大小的特征图上效果较好，featuremap size 在12-20之间）；
    • 将池化和卷积并行执行再合并，保持特征表示并降低计算量；

  • GoogLeNet（Inception） v3：
    • 采用 RMSProp优化器；
    • Factorization into small convolution： 将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），加速计算同时加深网络，提高非线性表达能力；
    • 辅助分类器中使用 BN；
    • 采用 label smoothing，防止过拟合；
  • GoogLeNet（Inception） v4：
    • 利用 ResNet 来改进 v3，得到 Inception-ResNet-v1，Inception-ResNet-v2，Inception-v4网络；

  • ResNet：
    • 传统网络 y = f(x)，ResNet Block公式为：y = f(x) + x，一来其导数比传统网络加了1，即使原导数很小也可以保证梯度不消失；二是引入恒等映射，解决了网络深度增加带来的网络退化问题；
    • 第一个卷积层采用了7*7的大卷积核，更大的感受野，获取图片更多的初始特征；
    • 短路连接中，输入和输出维度不一致时采用步长为2的卷积来减小维度尺寸；

  • DenseNet： 
    • 采用shortcut连接，与ResNet一致，但是是将前面所有层与后面层密集连接（dense connection）；
    • 采用channel concatenate来实现特征重用（代替ResNet的Element-wise addition）；
    • Transition layer主要是用来降低feature map的尺寸，将来自不同层的feature map变化为同等尺寸后进行concatenate：Transition Layer = BN + ReLU + 1x1 Conv + 2x2 Average Pool；
    • 密集连接提升了梯度的反向传播，使得网络更容易训练 （每层可以直达最后的误差信号）；
    • 参数更小且计算更高效 （concatenate来实现特征复用，计算量很小）；
    • 特征复用，分类器使用到了低级特征；
    • 需要较大的显存才能运行（所有层都需存储）；

  • 轻量级网络：
    • 优化结构：ShuffleNet；
    • 减少参数：SqueezeNet；
    • 优化卷积计算：MobileNet，Winograd；
    • 删除全连接层：SqueezeNet，LightCNN；

  •  SqueezeNet：
    • 多使用1*1的卷积，少使用3*3的卷积，减少参数量；
    • 3*3卷积采用更少的channel数；
    • 降采样后置，即推迟使用Pooling，从而增加感受野，尽可能多的获得feature；
    • 网络基础单元是 Fire Module，多个 fire module 堆叠，结合pooling组成SqueezeNet；
    • Fire Module又包括 squeeze layer（主要是1*1的卷积，对网络channel进行压缩）和 Expand layer （1*1的卷积和3*3的卷积进行concat）：

  • MobileNet v1：
    • 主要压缩策略是深度可分离卷积(Depthwise separable Convolution)：深度卷积（depthwise conv） + 逐点卷积（pointwise conv）；
    • 深度卷积（下图一）： 对每一通道单独进行卷积操作，得到和输入特征图通道数一致的输出特征图；
    • 逐点卷积（下图二）：即1*1的卷积，对深度卷积得到的特征图进行升维；
    • 深度可分离卷积单元相比传统卷积多一个ReLU6激活函数和1x1卷积层（下图三）；
    • 假设图像尺寸 H x W x D，卷积核 N x K x K x C，传统卷积计算量： H x W x N x K x K x C；深度可分离卷积计算量：H x W x K x K x D（depthwise conv） + N x H x W x C （pointwise conv）；参数量是传统卷积的 1 / N + 1 / K^{2}；

     

  • MobileNet v2：
    • 引入 linear bottleneck：在 MobileNet v1 训练是容易出现卷积层参数为空的现象，这是由于对低维度做ReLU运算容易造成信息丢失，反之高维度信息丢失就很少，因此去掉卷积之后的最后一个ReLU6函数换成 linear 即得到 linear bottleneck（本身模型参数不多，ReLU使得部分参数为0就更难以学到信息）；
    • 引入 inverted residuals：在深度卷积之前使用 1x1 卷积进行升维（升维倍数为t，默认 t = 6），再在一个更高维的空间中进行卷积操作来提取特征，随后再进行降维，inverted residual: 升维 + 卷积 + 降维，刚好和 resnet 的操作相反（因为本身初始的channel就很少，所以不适合先降维再升维）；

  • MobileNet v3：
    • # TODO，NAS相关，待补；
  • ShuffleNet v1：
    • 主要压缩思路是 group convolution 和 channel shuffle；
    •  group convolution（分组卷积 、 群卷积）：将输入特征图按通道数分为几组，然后采用不同的卷积核再对各个组进行卷积，可以降低计算量（常规卷积在所有通道上进行卷积，群卷积算是一种稀疏卷积）；
    • channel shuffle（通道混洗）：群卷积不同组之间的特征图信息不通信，不利于提取特征；而MobileNet是采用密集的1x1 pointwise convolution进行通道特征融合，计算量较大；channel shuffle 的思路是对群卷积之后的特征图顺序打乱重排，这样下一个群卷积的输入就来自不同的组，信息可以在不同组之间流转；
    • 图三（a）: Bottleneck with DW Conv;  （b）：ShuffleNet Unit with GConv + Channel Shuffle； （c）：ShuffleNet unit with stride = 2；
    • 群卷积：减少计算量；1x1 卷积：维度融合； 1x1 群卷积：快速维度融合； 
    • 与ResNet共同之处：都使用 skip connection（1x1-3x3-1x1）；不同之处：使用深度卷积（DConv）；
    • 与MobileNet v2共同之处：使用深度卷积（1x1-3x3-1x1），两种bottlenecks；不同之处：使用1x1 GConv，若有FC层则使用ReLU激活函数；

 

  • ShuffleNet v2：
    • 给出了4条guidelines：
      • ​​​​​​​ 卷积层的输入和输出特征通道数相等时MAC（memory access cost）最小，此时模型速度最快；
      • 过多的群卷积操作会增大MAC，从而使模型速度变慢；
      • 模型中的分支数量越少，模型速度越快；
      • element-wise操作所带来的时间消耗远比在FLOPs上的体现的数值要多，因此要尽可能减少element-wise操作；
    • channel split然后concat，保证输入输出channel一致；
    • 去掉1*1的分组卷积(channel split相当于分组了)；
    • channel split和将channel shuffle移动到后面；
    • 利用concat代替 element-wise add；

  • FPN：
    • ​​​​​​​同时兼顾高层语义信息和低层位置信息；
    • 不同尺度特征融合对大目标和小目标都可以更好的提取相应的特征；
    • bottom-up和top-down尺寸相同的特征图对应相加（如果维度不同，使用 1x1 卷积调整维度后相加）

​​​​​​​

  • Hourglass（用于人体关键点估计）
    • 使用多尺度特征，捕捉人体各关节点的空间位置信息；
    • 网络结构形似沙漏状，重复使用top-down到bottom-up（论文使用了8个沙漏结构）来推断人体的关节点位置；
    • 中继监督训练，对每一个hourglass模块都添加loss，这就相当于是8个loss一起监督；
    • 整个hourglass不改变特征的尺度，只改变特征的深度；

​​​​​​​

  • R-FCN：
    • ​​​​​​​在共享卷积层的最后一层网络上接上一个卷积层，而该卷积层就是位置敏感得分图 position-sensitive score map；
    • ROl 的 K*K i个子区域在各个类别的score maps上每个子区域的响应值，就是通过位置敏感Rol池化操作（Position-sensitive RoI pooling）找到的；
    • 在ResNet的共享卷积层的最后一层上面连接一个与position-sensitive score map并行的score maps （维度 4*K*K ）用来进行regression操作；
    • 和Faster R-CNN相比，R-FCN具有更快的运行速度（2.5倍以上），稍微提高了一点检测精度，在速度和准确率之间进行了折中；

  • ResNeXt：
    • ​​​​​​​不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量；
    • 采用 VGG 堆叠的思想和 Inception 的 split-transform-merge 思想，可扩展性比较强；
    • cardinality（the size of the set of transformations），即下图中的C，增加 cardinality 比增加深度和宽度更有效；
    • 算法流程：splitting，transforming和aggregating，实际实现过程中是 1x1 卷积降维 -> 3x3 群卷积 -> 1x1 升维；

​​​​​​​​​​​​​​

  • DCN（Deformable Convolution Network）：
    • Deformable Convolution & Deformable RoI Pooling 解决思路是让​​​​​​​传统的Convolution和RoI Pooling操作能够“自动形变”，通过给传统卷积采样点加offsets的方式来获得新的采样点；
    • 下图右侧的offset field就是变形卷积外加的待训练参数，大小和输入的 feature map 一致，卷积窗口在offset field上滑动就呈现了卷积像素偏移的效果，达到采样点优化的效果；若使用3*3的卷积核，则输入的 feature map 通过卷积生成一个新的channel 数为 2*3*3 的 feature map（大小不变），分别代表不同方向上x, y的offset值；
    • 若 pooling 的目标为一个 3*3 的featrue map，那么就需要 2×3×3 个偏置对应每一个bin，首先将输入的featrue map进行roi pooling为3*3大小的feature，然后通过全连接，输出为每一个bin（输出feature map大小决定bin个数）对应的offset。同时为了保证采样大小，需要对offset进行normalization。

​​​​​​​

  • DPN（Dual Path Networks）：
    • ​​​​​​​融合了ResNeXt和DenseNet的核心思想：short-connection结构，group convolution，跨层连接；

  • RetinaNet（Focal Loss for Dense Object Detection）
    • 不算是backbone里的了，但是算是OD中比较重要的一篇，提出one stage精确度不足的重要原因有class imbalance；
    • two stage模型大多会对bg与fg预分类, 因此bg数量不会远大于fg数量, 而one stage模型为了提升速度舍弃了proposal过程, 因此大多数模型也谈不上预分类问题,这样虽然速度提升并且使用交叉熵, 但往往还是由于easy sample数目远大于hard sample,  以至于easy sample的loss统治整体loss；
    • 此前，OHEM（Online Hard Example Mining）直接舍弃部分easy example, 毫无疑问会导致数据残缺, 进而影响结果；
    • focal Loss只是交叉熵的变种，它会引入一个惩罚因子降低分类比较好的损失，达到样本均衡效果；
    • RetinaNet如下图，左半部分就是FPN，右半边分了上下两个权值不共享的卷积网络, 一个是用来分类，另一个是用来anchor box 回归；

  • RefineNet：
    • ​​​​​​​结构类似 Unet，利用了ResNet网络，在四种不同的下采样阶段中，将特征图输入到refineNet模块中，产生融合后的特征图。除了refineNet4之外，每一个refineNet模块都有两个输入，一个是本阶段的特征图，另一个是低层产生的经过处理的特征图，这样随着下采样的进行，语义信息也逐渐丰富，最终得到的得分图，经过上采样操作恢复原有图片大小；

  • SENet：
    • ​​​​​​​网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。
    • Squeeze 操作将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野；
    • Excitation 操作类似于RNN中门机制，通过参数 w 来为每个特征通道生成权重，其中参数 w 被学习用来显式地建模特征通道间的相关性；
    • Reweight 操作将 Excitation 的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；

  • NASNet：
    • 基于NAS，不是很了解，待填坑；
  • EfficientNet（也是大厂才有可能做出来的产物，后面有空再补吧）：
    • ​​​​​​​总结了三种网络调节方式：增大感受野w，增大网络深度d，增大分辨率大小r，对应下图（b,c,d）；
      • 1，在r和w大小不变的情况下，随着d的增大，准确率没有太大的差异；
      • 2，在d和w不变的情况下，随着r的增大，准确率有较大提升；
      • 3，r和d不变的情况下，随着w的增大，准确率先有较大提升，然后趋于平缓，往后在无太大提升；
    • 将网络复合系数的确定转为如下的优化问题：
      • H, W 为卷积核大小，C 为通道数，X 为输入 tensor；
    • 约束条件：
      • ​​​​​​​

  • DetNAS：
    • 同上，占个坑吧；

Liu, Xu
关注
  • 7
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习神经网络模型总结(Backbone)
liuwei_0773的博客
10-28 353
　自己搭建神经网络时，一般都采用已有的网络模型，在其基础上进行修改。从2012年的AlexNet出现，如今已经出现许多优秀的网络模型，如下图所示。 主要有三个发展方向： 　　　　Deeper：网络层数更深，代表网络VggNet 　　　　Module： 采用模块化的网络结构（Inception），代表网络GoogleNet 　　　　Faster: 轻量级网络模型，适合于移动端设备，代表网络Mo...
CNN：经典Backbone和Block
yly的博客
05-22 5753
MobileNets(2017，MobileNets: Efficient Convolutional Neural Networks for Mobile VisionApplications)，主要创新点是使用了depthwise separable convolutions。 Input feature map: FxFxM ，Output feature map: GxGxN的问题。经典的方式是使用N个KxKxM的卷积核，即KxKxM的卷积核的每个channel与FxFxM的feature map.
各种常用backbone，分类网络（CNN类和Transforme类）
weixin_43112053的博客
10-21 1623
各种backone，分类网络。CNN和transform对比
CV Method：经典CNN Backbone总结
最新发布
WiSirius的博客
05-30 821
Backbone作为一切深度学习任务的基础，不论是理论还是实际应用都有重要的意义，本文针对经典Backbone进行总结，这些Backbone也是面试常见的问题，卷积网络主要以ResNet和其各种变体为主。本文主要介绍这些年比较经典的backbone的一些优势和特点，目前主流的backbone都以transformer为框架进行迭代，不过CNN的backbone是基础中的基础，能很好的帮助初学者理解相关理论和设计理念，也是必须要掌握的技术。
深度学习框架-Backbone汇总
热门推荐
David's Tweet
01-17 3万+
Backbone—— Neck —— Head 1.Backbone：翻译为骨干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进...
【深度学习】CNN 的骨干网络 backbone
小苏打的学习博客
05-30 6779
于卷积神经网络(CNN)骨干结构的思考 CNN Backbone往往是各种CNN模型的一个共享结构。 概念中提到，它是Object Detection, Scene Parsing, OCR等任务的前导性任务。 常用的 backbone 有 AlexNet: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf VGG: https://arxiv.org/
CNN调参笔记
vcvycy的专栏
11-26 795
一、卷积层weight和bias初始化(Mnist) weight的mean为0，标准差待定，bias为常数，待定。 （1）Bias初始化太大（比如0.5，weight），则网络很容易无法收敛。 （2）Bias和weigh较小(比如标准的)  （3）Mnist图片反色后对卷积层有较大影响。
CNN初学笔记
m0_38074458的博客
02-27 207
文章目录CNN 卷积神经网络什么是卷积weight sharing 权值共享相关概念池化与采样batch normalization经典卷积网络LeNet5AlexNet:ILSVRC 2012 winnerVGGgoogleNetResNetnn.module CNN 卷积神经网络 什么是卷积 0代表全白，1代表全黑，黑白图片 自然间RGB 3个通道，原来是0-255，归一到0-1 weig...
Faster R-CNN backbone - ResNet101.zip
07-03
总结来说，"Faster R-CNN backbone - ResNet101.zip"是一个包含Faster R-CNN目标检测模型中ResNet101预训练权重的文件。这个文件可以用于构建和优化目标检测系统，特别是当目标检测任务需要处理大量的图像数据时，...
Faster R-CNN backbone - VGG16.zip
05-19
Faster R-CNN（快速区域卷积神经网络）是一种用于目标检测的深度学习模型，它在计算机...而"Faster R-CNN backbone - VGG16.ckpt"文件则是一个关键资源，它封装了模型的预训练知识，能够帮助用户快速进入实际应用阶段。
Backbone.js框架中简单的View视图编写学习笔记
10-22
在Backbone.js中，View是MVC模式中的一个重要组成部分，它负责管理用户界面与模型数据之间的交互。在本文中，我们将深入探讨如何在Backbone.js中编写简单的View，并理解其核心概念。 首先，让我们了解`el`属性。`el...
backbone marionette js
03-29
Learn how Backbone.js brings MVC benefits to the client-side Write code that can be easily read, structured, and extended Work with the Backbone.Marionette and Thorax extension frameworks Solve ...
Backbone tutorials
11-29
Backbone tutorial for beginner. 1. A feature comparison of different frontend frameworks 2. Todo MVC - Todo list implemented in the many different types of frontend frameworks
【CNN基础知识】一文详解反向传播（Backpropagation）在CNN中如何具体实现——卷积、池化(上)
qq_45912037的博客
11-28 3451
受课程的大作业启发，仔细学习了下反向传播的具体实现过程。我们都知道CNN在训练时既有前向传播也有反向传播，但是在Pytorch中只需要一行代码就可以实现反向传播。我们不必手动实现它们。因此，大多数深度学习书籍也没有涵盖它。文章会从三部分进行分析。
更换目标检测的backbone（以Faster RCNN为例）
@bangbang的博客
06-11 6622
本博客以Faster RCNN为例，介绍如何更换目标检测的backbone。 对于更换目标检测backbone，主要难点是：如何获取分类网络中间某一个特征层的输出，在该特征层输出的基础上构建我们的目标检测模型。这里简单讲一下如何利用pytorch官方给的方法构建我们新的backbone,关于构建新的backbone，其实它的方法有很多。我们这讲一个比较简单的方法,对于该方法的前提是：torch>1.10 conda install pytorch==1.10.0 torchvision==0.11.0
计算机视觉中的经典骨干网络总结
qq_36561737的博客
01-06 6257
计算机视觉中的经典骨干网络
特征金字塔（Feature Pyramid Networks ）
m0_55844603的博客
02-28 7975
特征金字塔是目前用于目标检测、语义分割、行为识别等方面比较重要的一个部分，对于提高模型性能具有非常好的表现。 不同大小的目标都经过了相同的降采样比例后会出现较大的语义代沟，最常见的表现就是小目标检测精度比较低。特征金字塔具有在不同尺度下有不同分辨率的特点，不同大小的目标都可以在相应的尺度下拥有合适的特征表示，通过融合多尺度信息，在不同尺度下对不同大小的目标进行预测，从而很好地提升了模型的性能。
3 -【Faster R-CNN】之 backbone 代码精读
weixin_37804469的博客
02-01 548
在上一篇文章中，我们得到了图像尺寸统一的 batch 了，接下来，就是 feed 到 backbone 中 获取 feature map。
cnn backbone
07-27
CNN（卷积神经网络）的骨干网络（backbone network）是指在图像处理任务中用于提取特征的核心部分。骨干网络通常由多个卷积层和池化层组成，用于逐层提取图像的高级特征。 一种经典的骨干网络是VGGNet，它由多个卷积层和池化层组成，采用3x3的卷积核大小和步幅为1的卷积操作来提取图像特征。另一个常用的骨干网络是ResNet，它引入了残差连接（residual connection）来解决深层网络训练中的梯度消失问题，使得网络能够更深更容易训练。 除了VGGNet和ResNet，还有其他一些常用的骨干网络，如InceptionNet、MobileNet等。这些网络在图像分类、目标检测、语义分割等任务中都取得了很好的效果。 需要注意的是，骨干网络通常作为整个神经网络模型的一部分，用于特征提取。在实际应用中，我们可以根据任务的需求选择适合的骨干网络，并在其基础上进行进一步的修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值