ResNet+ FPN网络结构

最新推荐文章于 2023-04-20 11:47:22 发布
最新推荐文章于 2023-04-20 11:47:22 发布
阅读量8.5k 收藏 64
点赞数 9
分类专栏： 深度学习 文章标签： 深度学习 pytorch 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43937959/article/details/122489181
版权

1.ResNet

论文地址：ResNet
 ResNet在PyTorch的官方代码中共有5种不同深度的结构分别为18、34、50、101、152，和论文的完全一致。如下图所示，下图是论文的截图。
在这里插入图片描述
 根据Block类型，可以将这五种ResNet分为两类:一种是基于BasicBlock；另一种基于Bottleneck。

1.1 Block前面的层

 如下图所示，
在这里插入图片描述
 上图红色框的层的具体结构如下图所示，这里只包含卷积层和pooling层，而BN层和ReLU层等均未画出。
 输入输出用椭圆形表示，中间是输入输出的尺寸：channel×height×width
在这里插入图片描述
 这里补充一个卷积的基础知识（输出的宽公式如下图），O是代表输出尺寸，K 是过滤器尺寸，P 是填充，S 是步幅。在这里插入图片描述
 零填充：K 是过滤器尺寸，那么输入和输出内容就总能保持一致的空间维度。
在这里插入图片描述

1.2 BasicBlock

 浅层网络ResNet18, 34都由BasicBlock搭成。下面就ResNet18叙述一下BasicBlock。
 conv2_x
 conv2_x的结构比较简单，下图中方框内便是BasicBlock的主要结构——两个3×3 的卷积层，每个layer都由若干Block组成，又因为conv2_x的两个block结构完全相同，所以图中就x2代替。
在这里插入图片描述
 conv3_x
 conv2_x和conv3_x就有所不同了（如下图），首先645656（c,h,w）输入到第一个block的conv1中，这个conv1的步长变为2,和conv2_x不同，这是为了降低输入尺寸，减少数据量，输出尺寸为1282828（c,h,w）。其次是将输入经过11128的kernel，步长为2，padding=1的卷积操作得到1282828的输出（这里补充一个知识点，1x1 卷积作用：降维和升维，简单来说就是通道数的增加和减少）这个部分就是PyTorch ResNet代码中的downsample，然后和第一条路线合并，简单来说就是1x1的卷积步长是2。
 到第二个block，由于已经降低了尺寸，第2个block的conv1的stride就设置为1。由于该block没有降低尺寸，residual和输出尺寸相同，所以也没有downsample部分。
在这里插入图片描述
 conv4_x和conv5_x结构上与conv3_x相同，具体就输通道数的改变已经输出尺寸的缩小，就不具体赘述。

1.3 Bottleneck

 Bottleneck，深层网络ResNet50, 101, 152乃至更深的网络，都由Bottleneck搭成。就ResNet50叙述一下Bottleneck。
 conv2_x
 结构如下图所示，和Basicblock不同的一点是，每一个Bottleneck都会在输入和输出之间加上一个卷积层，只不过在layer1中还没有downsample，这点和Basicblock是相同的。至于一定要加上卷积层的原因，就在于Bottleneck的conv3会将输入的通道数扩展成原来的4倍，导致输入一定和输出尺寸不同。
在这里插入图片描述
 conv3_x
 conv3_x结构如下图所示，输出尺寸是2565656,输入进入layer2的第1个block后，首先要通过conv1将通道数降下来，之后conv2负责将尺寸降低（stride=2，下图从左向右数第2个红圈标注）。到输出处，由于尺寸发生变化，需要将输入downsample，同样是通过stride=2的1×1卷积层实现。
 之后的3个block（layer2有4个block）就不需要进行downsample了（无论是residual还是输入），如下图从左向右数第3、4个红圈标注，stride均为1。因为这3个block结构均相同，所以用x3表示。
在这里插入图片描述
 conv4_x和conv5_x结构与conv3_x相同，就不赘述。

2.特征金字塔-Feature Pyramid Networks（FPN）

论文链接：RPN

2.1

  目标检测任务和语义分割任务里面常常需要检测小目标。但是当小目标比较小时，可能在原
图里面只有几十个像素点。
 对于深度卷积网络，从一个特征层卷积到另一个特征层，无论步长是1还是2还是更多，卷积核都要遍布整个图片进行卷积，大的目标所占的像素点比小目标多，所以大的目标被经过卷积核的次数远比小的目标多，所以在下一个特征层里，会学习到更多大目标的特点。
 特别是在步长大于等于2的情况下，大目标的特点更容易得到保留，小目标的特征点容易被跳过。
 因此，经过很多层的卷积之后，小目标的特点会越来越少。、
在这里插入图片描述
 如上图,特征图(feature map)用蓝色轮廓表示，较粗的轮廓表示语义上更强的特征图。

  • a. 使用图像金字塔构建特征金字塔。
    特征是根据每个不同大小比例的图
    像独立计算的，每计算一次特征都
    需要resize一下图片大小，耗时，
    速度很慢。
  • b. 检测系统都在采用的为了更快地检
    测而使用的单尺度特征检测。
  • c. 由卷积计算的金字塔特征层次来进
    行目标位置预测,但底层feature
    map特征表达能力不足。
  • d. 特征金字塔网络(FPN)和b,c一样快，
    但更准确。

 如下图，FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps 语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的feature maps ，从而充分的利用了提取到的各个阶段的特征（ResNet中的C2-C5）。
在这里插入图片描述

2.2特征金字塔FPN的构建（Mask R-CNN）

• 特征金字塔FPN的构建是为了实现特征多尺度的融合，在Mask R-CNN当中，我们取出在主干特征提取网络中长宽压缩了两次C2、三次C3、四次C4、五次C5的结果来进行特征金字塔结构的构造。
• P2-P5是将来用于预测物体的bbox，boxregression，mask的。
• P2-P6是用于训练RPN的，即P6只用于RPN网络中。
如下图所示（h,w,c）
在这里插入图片描述

FPN+Resnet

 FPN+Resnet网络结构如下所示
在这里插入图片描述

参考：https://zhuanlan.zhihu.com/p/79378841
参考：https://zhuanlan.zhihu.com/p/103263215

a little cabbage
关注
  • 9
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
faster-rcnn+fpn+resnet+目标检测
04-07
使用resnet提取特征，加入fpn特征处理的模型，可以在瑕疵检测和MMdetection框架中使用。
py-R-FCN的ResNet50和ResNet101预训练模型
02-21
就是两个预训练模型，分别是ResNet-50的和ResNet-101的预训练模型。直接下载解压就行了。对了，是原版的RFCN哦，就是Caffe+Python的，不是tensorflow的model。
Pytorch实现ResNet+FPN
weixin_46474546的博客
10-26 1434
Reference SOURCE CODE FOR TORCHVISION.MODELS.RESNET （ResNet源码，Pytorch官方实现 ） SOURCE CODE FOR TORCHVISION.OPS.FEATURE_PYRAMID_NETWORK （FPN源码，Pytorch官方实现） torchvision.ops.FeaturePyramidNetwork() FPN+ResNet的Pytorch实现 ResNet理论基础与具体实现（详细教程） FPN（特征图金字塔网络）理论基础与具.
ResNet+FPN实现+白嫖代码
青春正年少我要大声笑lamusique
11-04 1万+
=========================================================== 有现成的代码：https://github.com/Kongsea/FPN_TensorFlow 推荐根据该博客来学习：https://www.jianshu.com/p/324af87a11a6 ============================================================ 纸上得来终觉浅，须知此事要coding！ ResNet+FPN
特征金字塔（FPN）
qq_43522163的博客
10-27 1567
特征金字塔（FPN）
在Resnet50后面添加一个FPN(源自DBNet)
weixin_44051179的博客
01-23 3461
首先贴一张DBNet的Architecture 输入图片假设为(1,3,640,640)，则Resnet output是 Output : [ (1,256,160,160), #x2 (1,512,80,80), #x3 (1,1024,40,40), #x4 (1,2048,20,20) #x5 ] 接下来就是FPN，本文主要介绍Feature Pyramid Networks
卷积神经网络：FPN
weixin_42782833的博客
07-29 1117
FPN 为了增强语义性，传统的物体检测模型通常只要在深度卷积网络的最后一个特诊图上进行后续操作，而这一层对应的下采样率(图像缩小的倍数)通常又比较大，如16、32，造成小物体在特征图上的有效信息较少，小物体的检测性能会急剧下降，这个问题也被称为多尺度问题。 解决多尺度问题的关键在于如何提取多尺度的特征。传统的方法有图像金字塔(Image Pyramid)，主要思路是将输入图片做成多个尺度，不同尺寸的图像生成不同尺寸的特征，这种方法简单有效，大量使用在了COCO竞赛上，但缺点是非常耗时，计算量也很大 卷积神经
解析基于Pytorch的残差神经网络（ResNet18模型），并使用数据集CIFAR10来进行预测与训练
小邹的博客
04-20 2538
残差神经网络其实是与卷积神经网络分不开的，我们知道卷积神经网络可以由很多个卷积层，激活层，池化层组成，多少个都没问题，但是随着层数增加，需要训练一轮的计算量也增加，这也不是最接受不了的，最无奈的是，随着层数增加，网络会呈现负优化，下面详解原因。​ 我们知道，卷积核作用是提取特征、训练卷积神经网络就是优化卷积核以减小预测值与真实值的差距，即：损失值。
语义分割系列18-FPN（pytorch实现）
yumaomi的博客
06-24 3972
本文介绍了FPN在语义分割领域中的应用，在pytorch框架上进行复现，并在Camvid数据集上进行测试。
YOLO3+残差网络+FPN详解
K-RI的博客
01-26 7860
概述 yolo3的论文写的跟个小作文一样，也不知道怎么过的审，里面实质性的东西并不多，做的实验一部分是引用Facebook AI Research的《Focal Loss for Dense Object Detection》，虽然最后没有用Focal Loss，但还是cite了人家一个大图；v3较v2提升明显的是对小物体的识别精度，但这也不是Joseph Redmon的原创，引用的还是Facebook AI Research的《Feature Pyramid Networks for Object Det
FasterRCNN-pytorch:FasterRCNN在VGG，ResNet和FPN基础中实现
05-13
FasterRCNN在VGG，ResNet和FPN基础中实现。 参考： rbg的FasterRCNN代码： : 模型表现 在VOC2017上进行培训在VOC2017上进行测试 骨干 地图 VGG16 0.7061 ResNet101 0.754 训练模型 1.运行前，您需要： 光盘....
FPN_FPN_
09-29
**FPN：特征金字塔网络详解** 特征金字塔网络（Feature Pyramid Network, FPN）是由林宇航等人在2017年提出的一种深度学习框架，主要用于解决目标检测中的尺度问题。在传统的卷积神经网络（CNN）中，高层特征图具有...
SpineNet论文笔记
01-20
从(a)的ResNet-FPN，到(b)的7个ResNet block加上10个scale-permute block，再到(c)全scale-permute结构，最后通过NAS(d)找到了最优的网络配置，每一步都带来了AP（平均精度）的提升。 实验结果显示，SpineNet在目标...
YOLOv5网络结构细节图（YOLOv5）
最新发布
05-04
综上所述，YOLOv5网络结构的精细设计在于其对传统网络结构的改良、数据增强策略的选择以及针对性的优化技术，这些都为其在目标检测领域的高效和准确性能打下了坚实基础。通过理解这些细节，我们可以更好地理解和应用...
FPN学习总结
aift的专栏
08-08 856
文章目录简介框架解析利用FPN构建Faster R-CNN检测器为什么FPN能够很好地处理多尺度目标总结References 简介 FPN——Feature Pyramid Networks for Object Detection，其是CVPR 2017年的论文，在多尺度目标检测领域很强！很多多尺度的目标检测算法都采用了FPN作为backbone，很强很常见。 作者提出的多尺度的object d...
FPN详解
热门推荐
WZZ18191171661的博客
03-10 13万+
论文题目：Feature Pyramid Networks for Object Detection 论文链接：论文链接 论文代码：Caffe版本代码链接 一、FPN初探 1. 图像金字塔 图1 图像金字塔 图2 高斯金字塔效果 如上图所示，这是一个图像金字塔，做CV的你肯定很熟悉，因为在很多的经典算法里面都有它的身影，比如SIFT、HOG等算法。我们常用的是高斯金字塔...
Faster R-CNN+FPN+ResNet-101项目。、
dpasdfjk66的博客
07-16 1689
项目实现环境搭建二级目录三级目录 先说下自己的环境：ubuntu18+python3.6+torch0.4.1+RTX2080Ti 哎，硬件更新了，以前的代码跑起来可费劲了 还有这个环境 cuda9.0+cudnn7.0 github项目地址：https://hub.fastgit.org/potterhsu/easy-fpn.pytorch 要是打不开，搜索最后的名字 环境搭建 RTX2080Ti对应的arch是sm_75，其他卡需要自己查清楚再对应修改 遇到gcc编译器报错，试下在makefile等脚本
CV（MobileNet，ResNet，FPN）网络参数量比较
qq_24263553的博客
07-01 5003
MobileNet：：5,347,520 MobileNet+fpn:13,344,960 ResNet:23,561,152 ResNet+fpn:31,558,592 这里的MobileNet我为了和ResNet拉到一齐，在最后又加了一层CONV2D,将通道数提升到2048dim，在使用fpn最后输出通道数256dim，所以参数量会比原始MobileNet会多一些，原始MobileNet参数量大概在300多万，相比于两三千万的resnet，真的很轻量级，方便在移动端有更好的体验。 大模型有大模型的好处，
ResNet-18 with FPN
04-08
ResNet-18 with FPN是一种结合了ResNet-18和特征金字塔网络（Feature Pyramid Network，FPN）的深度学习模型。ResNet-18是一个经典的卷积神经网络模型，它由18个卷积层和全连接层组成，主要用于图像分类任务。而FPN是一种用于目标检测和语义分割等任务的特征提取网络。 ResNet-18的主要特点是引入了残差连接（residual connection），通过跳跃连接将输入直接传递到输出，解决了深层网络训练中的梯度消失和梯度爆炸问题，使得网络更易于训练。ResNet-18的结构相对较浅，适合处理一些简单的图像分类任务。 而FPN则是为了解决目标检测任务中不同尺度目标的检测问题而提出的。它通过在不同层级上构建特征金字塔，使得网络可以同时获得不同尺度的特征信息。FPN通过自顶向下和自底向上的路径来构建特征金字塔，然后通过横向连接将不同层级的特征进行融合，最终得到具有丰富语义信息和多尺度感受野的特征图。 将ResNet-18和FPN结合起来，可以充分利用ResNet-18的特征提取能力和FPN的多尺度特征融合能力，从而在目标检测和语义分割等任务中取得更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值