目标检测CNN经典网络（四）R-FCN

最新推荐文章于 2024-06-03 08:46:27 发布
最新推荐文章于 2024-06-03 08:46:27 发布
阅读量598 收藏
点赞数
分类专栏： 计算机视觉 计算机视觉CV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CLOUD_J/article/details/89968651
版权

前面所说的RCNN作为最早的目标检测网络，具有一些问题，其对每一个ROI都做一遍卷积（费时）；对于感兴趣区域的筛选也费时；随后FastR-CNN、Faster-CNN给出了解决方案。之后学者又去思考后面的全连接层能不能去掉，或者不让每一个感兴趣区域都走一遍全连接，这也很费时间啊！（我们了解在图像分类中，人们都很讨厌全连接层，参数量太大），为此R-FCN出现了！

1回顾

回顾R-CNN系列的方案都是在解决一个计算量计算时间的问题，R-CNN存在一些问题，SPP-net提出金字塔池化层，将卷积放在前面，实现了一张图卷积一次就行，降低了大量时间！Fast R-CNN提出了ROI池化，引入并行的多任务损失函数，也提高了效率！到了Faster R-CNN认为区域建议网络也可以环程卷积网络，提出了RPN网络~~。本篇文章介绍下一个迭代版本R-FCN将后面的全连接层分类层也换成卷积网络！
在这里插入图片描述

2位置敏感性的理解

写着一部分看了好多文章都没看懂，查了好多资料总结到如下，之后有新的理解会加上，如果朋友们有好的文章解释可以推荐给我。
首先，对于图片分类问题，我们用比较深的卷积网络比较好，当网络比较深的时候，分类问题对于位置的敏感性就较差，因为一张图片通过一个深的网络到了后面再到全连接层，位置的变动对于后面特征的影响比较小了，所以它的识别还是会准确，这就是位置不敏感，平移不变性。
然而对于定位问题，我们需要得到它的定位，网络过于深的化就会造成我们定位不准确，平移不变！所以构造一个浅的网络可能对于分类来说比较好。

再来看个Faster R-CNN + ResNet-101结构的例子。这个是参考文献3给出的，如果在Faster R-CNN中没有ROI层，直接对整个feature map进行分类和位置的回归，由于ResNet的结构较深，平移可变性较差，检测出来的坐标会极度不准确。具体网络可以自己查一下！

如果在ResNet中间（conv4与conv5间）加个ROI层结果就不一样了，此时到了第四卷积层才给框选区域，坐标还是有的，此时分类器离得比较近了，分类器对于位置的敏感程度比较低了！也就是平移可变性！ROI层提取出的proposal中，有的对应前景label，有的对应背景label，proposal位置的偏移就有可能造成分类器（前景和背景分类）的不同。偏移后原来的前景很有可能变成了背景，原来的背景很有可能变成了前景，换句话说分类loss对proposal的位置是敏感的，这种情况ROI层给深层网络带来了平移可变性。

如果把ROI加到ResNet的最后一层（图1 conv5后）结果又是怎样呢？conv5的第一个卷积stride是2，造成conv5输出的feature map更小，这时proposal的一个小偏移在conv5输出上很有可能都感知不到，即proposal对应的label没有改变，此时识别出来的位置准确度会很差。

作者在考虑前人的实验后，想着把ROI向后靠一下是不是就能把全连接层也共享了！实则会导致位置的准确度降低的！所以考虑这些因素，他提出了位置敏感卷积网络。

3位置敏感卷积层网络

下图为R-FCN网络（这里说明一下，下面应该是还有一个回归！），其中红色部分是修改后的分类器，我们可以看出前面卷积之后得到featuremap之后有一部分向上去做RPN网络了，这个和FasterR-CNN一样。另一路去做分类了~~这里你会看到它写的是conv卷积，对没错，我们用一个卷积得到一个具有深度为K*K*(C+1)的特征。C+1代表类别，C个类别加一个背景。K是啥意思？这个K*K我们表示它属于某个类别上左、上中、上右…的可能性。下图中每个颜色块代表一个方位，一共3*3=9个方位，每个方位其实是包含C+1个的。再通俗点黄色层其实不是一层有C+1个层，分别代表它属于每个类别左上角的概率！
然后它不是有很多ROI，它用ROI套住一个区域，对于第一类，他需要从这9个大层中对应这个类的小层得到一个平均结果，然后把这9个数组合投票~看他是不是这个类。
在这里插入图片描述
看下面这个图，每个大层有C+1个，然后对ROI抽取后得到饼图，有C+1个类所以是C+1层，再求一个得分得到C+1的向量。
那么这时需要解决两个问题：
First 对于一个ROI如何抽成一个点
Second 投票怎么投？
在这里插入图片描述
好，接下来说这个问题。
First 对于一个ROI如何抽成一个点
这里它直接采取平均值的方法，所有像素值的平均值来代表一个值。
在这里插入图片描述

Second 投票怎么投？
对于投票，他也是计算的这K*K个值的平均值。哈哈！

4位置敏感回归

前面分类有了，那么回归位置呢？思路是一样的！前面分类是卷积为K*K*(C+1),回归的话就是四个参数啊，左上角右上角坐标！，那就是K*K*4,其他的就和上面一样了。
即在ResNet的共享卷积层的最后一层上面连接一个与position-sensitive score map并行的score maps，该score maps用来进行regression操作，我们将其命名为regression score map，而该regression score map的维度应当是 4KK ，然后经过Position-sensitive RoI pooling操作后，每一个RoI就能得到4个值作为该RoI的x,y,w,h的偏移量了，其思路和分类完全相同。

5损失的定义

然后就是怎么去定义这个损失，只有定义好损失，网络才能按照作者的设想去跑啊！，看下面这个图（图都是从小象课堂的PPT上截取的，感谢！）。
先主要说一下分类损失，得到上面的投票，C+1的向量对这个值softmax归一化，其实就是都去指数幂次，然后把正确的做分子，这样看正确类别分类的得分是否够大，不大的话，呵呵损失就大，那么网络训练就回去矫正，那么为了让损失小，就得让这个类别的得分高，那么就得让前面的位置敏感卷积层的得分高~这样从理论上应该是能实现的。
在这里插入图片描述

6可视化结果

论文中给出了其可视化的结果，如下图所示，可以看出，当这个ROI选对了，那么对于人这个类别，它得出的9个方位图在中间，我们可以看出左上角其实不太属于人，看中间那个图高亮的区域少；中间部位其实肯定属于人了，我们看出第五个格子几乎全部高亮，以此类推可以分析其他格子，最后计算每个格子的平均得到右图，可以看出其值比较高，属于人类。
在这里插入图片描述
图2哪个区域选歪了之后就不一样了得分低一点，也很好分析！

在这里插入图片描述

7实验效果

作者首先做了一个实验去测试一下不同的位置敏感池化单元尺寸对结果的影响，可以看出1*1的尺寸，也就是对于一个ROI不分块，失败！3*3也就是分成左上左中左下九份效果还可以，7*7的效果最好。
在这里插入图片描述
之后又做了对比试验，与之前的网络做了对比。可以看出效果得到了现主的提升，在保证效果的同时，时间更短！
在这里插入图片描述

8参考文献

[1]小象学堂课程PPT
[2]R-FCN详解
https://blog.csdn.net/WZZ18191171661/article/details/79481135
[3]解答关于R-FCN的所有疑惑（原创）
https://www.jianshu.com/p/409fd61db9db

CloudCver
关注
专栏目录
【计算机视觉】目标检测中Faster R-CNN、R-FCN、YOLO、SSD等算法的讲解（图文解释 超详细必看）
showswoller的博客
12-08 3382
【计算机视觉】目标检测中Faster R-CNN、R-FCN、YOLO、SSD等算法的讲解（图文解释 超详细必看）
R-CNN,SPP-NET, Fast-R-CNN,Faster-R-CNN, YOLO, SSD, R-FCN学习总结（持续更新）
RCNN
09-03 3199
R-CNN这个领域目前研究非常活跃，先后出现了R-CNN，SPP-net，Fast R-CNN，Faster R-CNN，R-FCN，YOLO，SSD等研究，Ross Girshick（rbg大神）作为这个领域的开山鼻祖总是神一样的存在，R-CNN、Fast R-CNN、Faster R-CNN、YOLO都和他有关。这些创新的工作其实很多时候是把一些传统视觉领域的方法和深度学习结合起来了，比如选择...
轻量级目标检测网络.docx
08-19
本文档回顾一般的目标检测算法和轻量级网络算法，并对SSD算法和MobileNet算法进行较为详细的介绍，最终使用MobileNet-SSD算法进行车牌识别。
目标检测网络
2d3d图像算法 halcon\opencv\c++\pcl\vtk\coluldcompare工具 程序员 学习者
05-01 4365
文章目录一、目标检测网络简介二、one-stage1、yolo1.1 yolov11.2 yolov21.3 yolov31.4 yolov41.5 yolov52、SSD3、RetainNet二、two-stage1、R-CNN2、Fast R-CNN3、Faster R-CNN4、SPP-net总结 一、目标检测网络简介 大致分为两类one-stage和two-stage，主要区别是检测目标类别与bounding box回归任务是否分开进行。 two-stage代表是rcnn系列（rcnn、fast-
VarifocalNet (VF-Net)一种新型的目标检测网络
deephub
05-06 3144
引入IoU感知和Varifocal 来推动对象检测SOTA分数 在MS COCO上进行的广泛实验表明，我们的VFNet通过使用不同的骨干来围绕2.0 AP不断地超过最强基线。我们最好的模型VFNet-X-1200与Res2Net-101-DCN在COCO测试开发上实现了单模型单尺度AP 55.1，这是各种目标探测器中最先进的。 几周前，当我在做一个物体检测Kaggle竞赛时，我偶然发现了VarifocalNet。我非常惊讶地看到它与许多SOTA对象检测模型(如YoloV5和EfficientDet)相匹
目标检测网络（RCNN系列，SSD，Yolo系列）
热门推荐
张家四少
08-22 1万+
Table of Contents 深度学习相关的目标检测方法也可以大致分为两派 发展历程 基于区域提名的R-CNN家族对比总括 R-CNN（2014） SPP-Net Fast R-CNN（2015） Faster-RCNN Yolo：you only look once SSD: Single Shot MultiBox Detector YoloV2, Yolo9000 ...
R-FCN.zip_CNN_cnn+目标检测_全卷积_全卷积FCN_卷积神经网络
07-14
R-FCN全卷积网络的目标检测神经网络，算法性能优于Faster R-CNN
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD.doc
12-23
目标检测算法概述 本文将对目标检测算法进行概述，包括传统的目标检测算法、候选区域/窗 + 深度学习分类、基于深度学习的回归方法。 一、目标检测概述 目标检测是图像处理中的一个基本问题，即在给定的图片中精确...
R-FCN: Object Detection via Region-based Fully Convolutional Networks
11-15
本文主要讨论了 R-FCN（Region-based Fully Convolutional Networks）的一种对象检测方法，它是基于全卷积网络的区域提议网络（RPN），旨在解决目标检测的准确性问题。R-FCN 方法的主要思想是使用位置敏感的分数图，...
CNN和rf两种实现.zip
04-05
Kaggle的手写数字识别代码，分别是cnn和rf的实现，可直接运行py文件，分析报告见我的博客：基于CNN的Kaggle手写数字识别
目标检测网络：YOLO_V4（二）
qq_42018838的博客
03-12 285
YOLO_V4前言Demo 前言   最近，YOLO_v4的开源掀起了一波热潮，根据给出的数据YOLO_V4实现了速度和精度的双向突破，吊打了一系列的目标检测网络。因此，考虑后续传感器融合的目标跟踪研究的需要，研究yolo_v4是不可或缺的部分，并且先学习github中的开源demo，再研究该网络的原理。 github链接：https://github.com/AlexeyAB/darknet#requirements 论文链接：https://arxiv.org/pdf/2004.10934.pdf De
目标检测网络-yolo
qq_43369406的博客
03-27 3009
目标检测网络-yolo
各种目标检测网络
tanfuz的博客
02-08 3123
R-CNN -2014 -two stage 候选区域生成： 一张图像生成1K~2K个候选区域 （采用Selective Search 方法） 特征提取： 对每个候选区域，使用深度卷积网络提取特征 （CNN） 类别判断： 特征送入每一类的SVM 分类器，判别是否属于该类 位置精修： 使用回归器精细修正候选框位置 缺点： RoI（Region Proposal/Region of Interest）的获取太麻烦（选择性搜索Selective Search）且正确率感人。 RoI的特征提取太耗时（先切图片，
目标检测涉及的一系列网络总结RCNN FastRCNN FasterRCNN FPN MaskRCN等
sunflower_sara的机器学习园地
09-03 2871
目录 一、RCNN - Rich feature hierarchies for accurate object detection and semantic segmentation ​ 步骤： 创新： 缺点： 候选区域算法 selective search 训练： 二、FastRCNN ​ 步骤： 优点： 缺点： 创新： ROI pooling 训练： Los...
目标检测 Faster-RCNN网络
mengxianglong123的博客
07-12 1725
在R-CNN和Fast RCNN的基础上，在2016年提出了Faster RCNN网络模型，在结构上，Faster RCNN已经将候选区域的生成，特征提取，目标分类及目标框的回归都整合在了一个网络中，综合性能有较大提高，在检测速度方面尤为明显。接下来我们给大家详细介绍fasterRCNN网络模型。网络基本结构如下图所示：Faster RCNN可以看成是区域生成网络(RPN)与Fast RCNN的组合，其中区域生成网络(RPN)替代选择性搜索来生成候选区域，Fast RCNN用来进行目标检测。FasterRC
图像目标检测网络
北落师门XY的博客
10-14 1254
一、定义 ROI（region of interest）：感兴趣区域 region proposal method：候选区域方法 RPN（region proposal network）：候选区域网络 滑动窗口检测 SS（selective search）：选择性搜索 二、RCNN 用候选区域方法替代滑动窗口，更快更准。CNN classifier用于获取4096个特征，SVM用于确...
Faster R-CNN：端到端的目标检测网络
最新发布
新缸中之脑
06-03 1214
传统的对象检测技术遵循下图给出的 3 个主要步骤。第一步涉及生成多个区域提案。这些区域提案是可能包含对象的候选区域。这些区域的数量通常为几千个，例如 2,000 个或更多。一些生成区域提案的算法的示例是选择性搜索和 EdgeBox。从每个区域提案中，使用各种图像描述符（例如方向梯度直方图 (HOG)）提取固定长度的特征向量。该特征向量对于对象检测器的成功至关重要。即使对象由于某些变换（例如缩放或平移）而发生变化，该向量也应该充分描述对象。然后使用特征向量将每个区域提案分配给背景类或对象类之一。
目标检测网络总结（R CNN系列 YOLO系列 SSD系列）
Share的博客
08-11 2902
R CNN系列算法比较 1.R-CNN: (1)image input； (2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal； (3)将每个Region Proposal缩放(warp)成227*227的大小并输入到CNN，将CNN的fc7层的输出作为特征； (4)将每个Region Proposal提取的CNN特征输入到SVM进行分类； (5)对于SVM分好类的Region Proposal做边框回归，用Boundin......
R-FCN：基于区域的全卷积网络目标检测
R-FCN可以自然地采用最先进的残差网络（ResNets）作为其图像分类器的基础，以实现目标检测。在PASCAL VOC数据集上，如2007设置，R-FCN达到了83.6%的mAP（平均精度），并且在测试时速度达到每图像170毫秒，比Faster R...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值