深度残差网络学习笔记ResNet和FPN特征金字塔

最新推荐文章于 2023-11-03 15:13:35 发布
最新推荐文章于 2023-11-03 15:13:35 发布
阅读量4.1k 收藏 13
点赞数 1
文章标签： 网络 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuzhiyuanzui/article/details/120850678
版权

当网络层数达到一定的数目以后，网络的性能就会开始退化
简单的增加网络的深度，会导致梯度消失和爆炸，解决办法一般是正则初始化和中间的正则化层和通过Batch Normalization，很大可能会得到的是局部最优解
过拟合一般可以通过采集海量数据，并配合Dropout正则化等方法
残差在数理统计中是指实际观察值与 估计值 （ 拟合值 ）之间的差。

在这里插入图片描述
训练前的目标是想H(X)接近F(X)、因为H(X)难以训练，就转变思想去训练残差F(X)，然后通过F(X)+X=H(X)来得到H(X)。

ResNet的出现其实就是为了解决网络深度变深以后的性能退化问题。
在这里插入图片描述

使用RseNet更容易拟合恒等映射
在这里插入图片描述
只有当输入X和F(X)维度相同时才可以相加，当维度不同时，采用两种方法进行相加：
1、采用zero-padding增加维度，此时需要先做一个downsamp，可以采用池化层，这样不会增加参数
2、采用新映射的方式，做1*1的卷积，但是会增加计算量，增加参数
一般采用将1，2综合的方式，当相同时不调整，不同时调整

ResNet的网络结构

变化主要体现在ResNet直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。ResNet的一个重要设计原则是：当feature map大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度

FPN特征金字塔

提出了特征金字塔的网络结构，能在增加极小的计算量的情况下，处理好物体检测中的多尺度变化问题。解决下采样不能很好的识别小物体

是一种自上而下的网络结构，用来构建不同尺寸的具有高级语义的特征图

SSD结构相当于也是一个金字塔，但是它放弃了最低的那几层，但就是这些最低的几层对于小物体的检测十分重要

为了解决这种问题，这种网络结构，能够在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。

FPN的网络结构图如下：左边为VGG16的每一个conv的最后一层的输出，拿出来去做FPN的特征，C1没有拿出来是因为语义实在是太低了
在这里插入图片描述
总结：左侧时一个网络C，通过11的卷积得到相同的通道数变成M，然后M5通过step=2的上采样，也就是图二类似，然后加上C4。关系式为：M52+C4=M4，最后再通过3*3的卷积得到特征图
在这里插入图片描述
在这里插入图片描述

一农夫
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于深度残差和特征金字塔网络的实时多人脸关键点定位算法.pdf
04-14
基于深度残差和特征金字塔网络的实时多人脸关键点定位算法基
OpenCV深度学习残差网络（ResNet）人脸检测
04-29
在本文中，我们将深入探讨如何使用OpenCV结合深度学习残差网络（ResNet）进行人脸检测。OpenCV是一个强大的计算机视觉库，而ResNet是一种在深度学习领域具有里程碑意义的卷积神经网络（CNN），尤其在图像识别和物体...
【深度学习】ResNet+ FPN网络结构
最新发布
weixin_44001371的博客
11-03 2955
网络退化随着网络深度的增加，网络能获取的信息量随之增加，而且提取的特征更加丰富。但是在残差结构提出之前，根据实验表明，随着网络层不断的加深，模型的准确率起初会不断的提高，达到最大饱和值，然后随着网络深度的继续增加，模型准确率不但不会继续增加，反而会出现大幅度降低现象，即模型训练过程和测试过程的error比浅层模型更高。这是由于之前的网络模型随着网络层不断加深会造成梯度爆炸和梯度消失的问题。
基于深度残差和特征金字塔网络的实时多人脸关键点定位算法--谢金衡
xu.hyj
04-09 2783
[1]谢金衡, 张炎生. 基于深度残差和特征金字塔网络的实时多人脸关键点定位算法[J]. 计算机应用, 2019, 39(12):6. 深度学习中关键点定位的方法有检测人脸再定位和直接热力图定位，检测人脸再定位导致时间成本增加，本文则剔除将人脸关键点生成对应的热力图作为标签，使用残差结构提取特征，使用特征金字塔融合多尺度特征，由粗到精一次性回归图中所有人脸关键点。该算法前向传播约需0.0075s，再WFLW测试集中取得了6.06%的平均误差和11.70%的错误率。 0、引言1、本文方法1.1、数据集预.
特征金字塔（FPN）
qq_43522163的博客
10-27 1567
特征金字塔（FPN）
特征金字塔网络FPN
qq_53582111的博客
03-18 7098
一、FPN 特征金字塔网络（FPN）是一 种旨在提高准确率和速度的特征提取器。它取代了检测器（如 Faster R-CNN）中的特征提取器，并生成更高质量的特征图金字塔 FPN 由自下而上和自上而下路径组成。其中自下而上的路径是用于特征提取的常用卷 积网络。空间分辨率自下而上地下降。当检测到更高层的结构，每层的语义值增加 2、ResNet FPN FPN 结合 RPN FPN 不单纯是目标检测器，还是一个目标检测器和协同工作的特征检测器。分别传递 到各个特征图.
FCOS的整体网络结构 ResNet + FPN
allrubots的博客
05-30 2475
FCOS的整体网络架构，以及前向推理的举例
特征金字塔（Feature Pyramid Networks ）
m0_55844603的博客
02-28 8197
特征金字塔是目前用于目标检测、语义分割、行为识别等方面比较重要的一个部分，对于提高模型性能具有非常好的表现。 不同大小的目标都经过了相同的降采样比例后会出现较大的语义代沟，最常见的表现就是小目标检测精度比较低。特征金字塔具有在不同尺度下有不同分辨率的特点，不同大小的目标都可以在相应的尺度下拥有合适的特征表示，通过融合多尺度信息，在不同尺度下对不同大小的目标进行预测，从而很好地提升了模型的性能。
ResNet-18超详细介绍！！！！
热门推荐
m0_64799972的博客
09-08 6万+
残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在2015 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了冠军。残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。下面我将一步步引出退化现象和快捷连接。
FPN网络详解
qq_52053775的博客
07-13 1万+
特征金字塔(Feature Pyramid Networks， FPN)的基本思想是通过构造一系列不同尺度的图像或特征图进行模型训练和测试，目的是提升检测算法对于不同尺寸检测目标的鲁棒性。但如果直接根据原始的定义进行FPN计算，会带来大额的计算开销。为了降低计算量，FPN采用一种多尺度特征融合的方法，能够在不大幅度增加计算量的前提下，显著提升特征表达的尺度鲁棒性。 在实际场景中，同一个目标物体，会因为拍摄距离不同，呈现出不同的尺度。识别不同尺度的目标，是计算机视觉中一个重要问题。一个常规的解
maskrcnn_resnet50_fpn_coco-bf2d0c1e.pth
03-16
maskrcnn_resnet50_fpn_coco-bf2d0c1e模型参数
深度学习实现零件缺陷检测源代码(1)_深度学习vgg_深度残差网络_深度学习检测_resnet缺陷检测_vgg
09-11
残差网络（ResNet）是微软研究院提出的突破性成果，它解决了深度学习中的梯度消失问题。ResNet引入了“残差块”概念，允许网络直接学习输入信号的残差，而非原始信号本身。这种设计使得网络即使在极深的情况下也能...
残差网络resnet50的深度学习模型权重文件
11-15
残差网络resnet50的深度学习模型权重文件，可作为预训练模型，提升学习效率
卷积神经网络：FPN
weixin_42782833的博客
07-29 1118
FPN 为了增强语义性，传统的物体检测模型通常只要在深度卷积网络的最后一个特诊图上进行后续操作，而这一层对应的下采样率(图像缩小的倍数)通常又比较大，如16、32，造成小物体在特征图上的有效信息较少，小物体的检测性能会急剧下降，这个问题也被称为多尺度问题。 解决多尺度问题的关键在于如何提取多尺度的特征。传统的方法有图像金字塔(Image Pyramid)，主要思路是将输入图片做成多个尺度，不同尺寸的图像生成不同尺寸的特征，这种方法简单有效，大量使用在了COCO竞赛上，但缺点是非常耗时，计算量也很大 卷积神经
Mask RCNN学习笔记
她的妈妈爱上我的博客
10-16 368
Mask RCNN学习笔记1 Mask RCNN开篇前的几个问题1.1 Mask RCNN 沿用思想&Faster RCNN中暴露的问题1.2 FPN层1.3 Mask分支1.4 ROI Align1.5 全卷积层（FCN）和CNN网络里的全连接层1.6 语义分割与实例分割的区别1.7 Mask RCNN 数据集的标注问题2 网络整体结构2.1 ResNet-FPN 处理流程说明2.2 ResNet-FPN + RPN2.3 ResNet-FPN + RPN + Faster RCNN + M
FPN(Feature Pyramid Networks) 特征金字塔模型
酒酿小圆子呀～
04-21 2952
目标的多尺度一直是目标检测算法极为棘手的问题。像Fast R-CNN，YOLO这些只是利用深层网络进行检测的算法，是很难把小目标物体检测好。因为小目标物体本身的像素就比较少，随着降采样的累积，它的特征更容易被丢失。为了解决多尺度检测的问题，传统的方法是使用图像金字塔进行数据扩充。虽然图像金字塔可以一定程度解决小尺度目标检测的问题，但是它最大的问题是带来计算量的极大的增加，而且还有很多冗余的计算。
在Resnet50后面添加一个FPN(源自DBNet)
weixin_44051179的博客
01-23 3461
首先贴一张DBNet的Architecture 输入图片假设为(1,3,640,640)，则Resnet output是 Output : [ (1,256,160,160), #x2 (1,512,80,80), #x3 (1,1024,40,40), #x4 (1,2048,20,20) #x5 ] 接下来就是FPN，本文主要介绍Feature Pyramid Networks
RetinaNet（基于resnet50和fpn）的tensorboard网络架构图
qq_24263553的博客
07-01 1721
采用网络的backbone部分，为了能运行tensorboard，所以必须要是完整的网络，所以结尾采用提取有效特征层P7（tensor类型），进行Flatten拉平，然后接了一层全连接，使用虚拟数据进行空跑，才能进入tensorboard。 Keras和TF是可以互通，使用tf.keras更加方便，中间可以嵌套tf，使用with tf.name_scope(‘stage5’): 可以将网络部分隐藏在name_scope下，更方便对主体网络进行观察 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值