目标检测理论基础：RCNN系列架构

最新推荐文章于 2024-05-14 22:22:23 发布
最新推荐文章于 2024-05-14 22:22:23 发布
阅读量917 收藏 6
点赞数 1
分类专栏： 学习总结 文章标签： 神经网络 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38701106/article/details/120853945
版权

目录

模型进化史

 区域卷积神经网络R-CNN

模型结构

RCNN:selective search

RCNN:wrap

 RCNN:微调

 RCNN:fine tuning

RCNN:分类部分

RCNN:回归部分

 RCNN:测试

RCNN：性能评价 

SPP-Net

SPP-Net网络

 SPP-Net训练流程

SPP-Net问题

Fast R-CNN

感兴趣区域池化

微调

 多任务损失

 训练：在pre-trained模型上做finetune

 fast rcnn性能提升

 Faster RCNN

 RPN网络

 faster rcnn训练

 性能提升

模型进化史

 区域卷积神经网络R-CNN

模型结构

按分类问题对待：
模块1：提取物体区域(Region proposal)：不同位置，不同尺寸，数量很多
模块2：对区域进行分类识别(Classification)：CNN分类器， 计算量大

RCNN:selective search

0、按一定的规则生成区域集R
1、计算区域集R里每个相邻区域的相似度S={s1，s2，...}
2、找出相似度最高的两个区域，将其合并为新集，添加进R
3、从S中移除所有与2中有关的子集
4、计算新集与所有子集的相似度
5、跳至2，直至S为空
优先合并四种区域：
-颜色(颜色直方图)相近的
-纹理(梯度直方图)相近的
-合并后总面积小的
-合并后，总面积在其BBOX中所占比例大的

RCNN:wrap

1、在原始区域目标周围取一块区域进行等比缩放到CNN需要的图片大小
2、去除原始目标区域然后对目标区域进行填充，再等比缩放到CNN需要的图片大小
3、直接将原始目标区域非等比缩放到CNN需要的图片大小

 RCNN:微调

M←在Image Net上对CNN模型进行pre-train
M'←在SS生成的所有区域上对M进行fine-tune
注： Log loss
        Soft max层改成(N+1) -way， 其余不变
        正样本(N类) ：跟Ground-truth重合IoU>=0.5
        负样本(1类) ：IoU<0.5

 RCNN:fine tuning

当数据量较小时，运用深度学习很可能会出现严重的过拟合的现象。
可用Alex net、VG G等网络在Image Net等训练集上预训练模型，然后只对于网络最后面的几层进行重新训练。
对于神经网络的底层，因为它充分的在大数据集上进行了基础特征的提取如：颜色、边框等，依旧可以在小数据集上进行运用。

RCNN:分类部分

R-CNN训练流程：
C←在M'的Fc 7特征上训练线性SVMs分类器
        Hingeloss：SVM特有的
        每个类别(N类) 对应一个SVM分类器
        正样本：所有Ground-truth区域
        负样本：跟Ground-truth重合IoU<0.3的SS区域

注：SVM训练完成后，如果完全分类正确，所有正样本的输出概率都大于0.5，而所有负样本的输出概率都小于0.5。
但常见的情况是有一部分的负样本的输出概率也大于0.5的， 这些样本就称之为“False Positives”。
如果把这些“False Positives”收集起来， 对SVM进行二次训练， 经过二次训练的SVM的分类准确度一般会有一定的提升。

RCNN:回归部分

 RCNN:测试

RCNN：性能评价 

True Positive区域：IoU>=0.5
False Positive区域：IoU<0.5
False Negative区域：遗漏的Ground truth区域
准确率precision：TP/(TP+FP)
召回率recall：TP/(TP+FN)
第C类的平均精度(AP)：PR曲线之下的面积是Precision对于Recall的积分。
mAP：所有类别的平均精度求和除以所有类别，即数据集中所有类的平均精度的平均值

优势：mAP大幅提升
问题：
1.训练时间很长(84小时)：Fine-tune(18) +特征提取(63) +SVM/Bbox训练(3)
2.测试阶段很慢：VG G 16一张图片47s
3.复杂的多阶段训练

SPP-Net

R-CNN速度慢的原因之一:卷积特征重复计算量太大(每张图片的~2000区域都会计算CNN特征)
两大改进:
1.直接输入整图，所有区域共享卷积计算(一遍):在Conv 5层输出上提取所有区域的特征
2.引入空间金字塔池化(Spatial Pyramid Pooling):为不同尺寸的区域， 在Conv 5输出上提取特征，
映射到尺寸固定的全连接层上

SPP-Net网络

 为什么可以先卷积提取特征，再找roi区域呢？对卷积层可视化发现：输入图片的某个位置的特征反应在特征图上也是在相同位置。基于此， 对某个ROI区域的特征提取只需要在特征图上的相应位置提取就可以了。

 SPP-Net训练流程

 

SPP-Net问题

继承了R-CNN的剩余问题：需要存储大量特征、复杂的多阶段训练、训练时间仍然长(25.5小时)
带来了新问题：SPP层之前的所有卷积层参数不能fine tune

Fast R-CNN

改进：比R-CNN， SPP-Net更快的training/test
           更高的mAP
           实现end-to-end(端对端) 单阶段训练:多任务损失函数(Multi-task loss)
           所有层的参数都可以fine tune
           不需要离线存储特征文件

在SPP-Net基础引入2个新技术:感兴趣区域池化层(RoI pooling layer)
                                                  多任务损失函数(Multi-task loss)

 

感兴趣区域池化

空间金字塔池化(SPP pooling) 的单层特例
将RoI区域的卷积特征拆分成HxW网格(7x7forVGG)
每个Bin内的所有特征进行Max pooling

微调

绿色框为飞机的GroundTruth(GT) ，红色为提取的foreground anchors，那么即便红色的框被分类器识别为飞机，但由于红色的框定位不准，这张图相当于没有正确的检测出飞机。所以要采用一种方法对红色的框进行微调，使得foreground anchors和GT更加接近。

 

 多任务损失

 

 训练：在pre-trained模型上做finetune

 奇异值分解（对全连接层的处理）：加速全连接运算

在目标检测任务中， 要处理的RoI数量比较多， 几乎一半的前向计算时间被用于全连接层。
就FastR-CNN而言， RoI池化层后的全连接层需要进行约2k次， 因此在FastR-CNN中可以采用SVD分解加速全连接层计算；全连接层输入数据为X，输出数据为Y，全连接层权值矩阵为W，尺寸为u×v，那么该层全连接计算为：Y=W Xx.

 fast rcnn性能提升

 Faster RCNN

对SS算法进行了改进

 

 RPN网络

 

 

 faster rcnn训练

 性能提升

 

总结

模型进化

RCNN VS SPP-NET

 SPP-NET VS FAST RCNN

 FAST RCNN VS FASTER RCNN

小张好难瘦
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测Faster-RCNN源码
05-31
介绍利用Faster-RCNN去训练Pascol VOC数据集或者训练自定义数据集。 参考博客：https://blog.csdn.net/weixin_38346042/article/details/125044860?spm=1001.2014.3001.5502
目标检测 pytorch复现Fast-RCNN目标检测项目
05-17
目标检测 pytorch复现Fast_RCNN目标检测项目 利用coco2017数据集训练Fast-RCNN模型（训练过程详细步骤记录）： （1）检测数据集利用选择搜索算法（selective-search）生成一定数量的候选框， （2）将候选框与真实标注框进行IOU（交并比）计算，将真是标注框的作为正样本，将0.1<IOU<0.5的当做负样本 （3）设计网络骨干模型，利用VGG19，利用ROIPlooing方法将建议框映射到输出特征层 （4）设置输出为一个分类分支（类别类数+背景类（1））与标注回归分支 （5）设置交叉熵损失与回归损失 （6）训练网络模型
目标检测-RCNN.pptx
05-08
目标检测-RCNN.pptx 图像识别（classification）： 输入：图片 输出：物体的类别 评估方法：准确率 定位（localization）： 输入：图片 输出：方框在图片中的位置（x,y,w,h） 评估方法：检测评价函数 intersection-over-union ( IOU ) 卷积神经网络CNN已经帮我们完成了图像识别（判定是猫还是狗）的任务了，我们只需要添加一些额外的功能来完成定位任务即可 物体检测需要定位出物体的bounding box，就像下面的图片一样，我们不仅要定位出车辆的bounding box 我们还要识别出bounding box 里面的物体就是车辆。对于bounding box的定位精度，有一个很重要的概念，因为我们算法不可能百分百跟人工标注的数据完全匹配，因此就存在一个定位精度评价公式：IOU
【目标检测算法】R-CNN（详解）
风口IT猪的成长录
08-14 1万+
目标检测算法之R-CNN学习目标1. 目标检测-Overfeat模型1.1 滑动窗口1.2 Overfeat模型总结2. 目标检测-R-CNN模型2.1 完整R-CNN结构2.2 候选区域（Region of Interest）得出2.3 CNN网络提取特征2.4 特征向量训练分类器SVM2.5 非最大抑制（NMS）2.6 修正候选区域3. 检测的评价指标3.1 IoU交并比3.2 平均精确率（mean average precision）map4. R-CNN总结4.1 流程总结4.2 缺点5. 总结6.
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_43799400的博客
03-10 2万+
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
R-CNN网络结构详解
Yikong的博客
03-27 1万+
在介绍R-CNN之前，先来了解一种目标检测算法的思路。 目标检测-Overfeat模型 最初的目标检测采用的思路是滑动窗口，比较暴力的从左到右和上到下的扫描图片。 设定好检测框（Bounding box）的大小，扫描图片后生成字图片。这样就变成了分类的问题了。但是，图片中的物体大小是不一样的，这也意味着每个检测框的大小也不一样了。所以就要提前设定M个检测窗口，每个窗口滑动提取N张图片，总共M*N...
两阶段(two stage)目标检测原理详解 -- RCNN
AI学长
03-22 4万+
目录 一、目标检测的任务 二、什么是“两阶段”呢？ 三、两阶段算法原理 （二）候选区域算法 （三）边框回归（ Bounding Box Regression ） 1.非极大值抑制（Non-Maximum Suppression，NMS） 2.对候选框进行坐标调整 （三）RCNN模型结构 1. RCNN的模型结构 ​​​​​2.R-CNN 总结 目前目标检测领域的深度学习方法主要分为两类：two stage 的目标检测算法；one stage 的目标检测算法。 ...
Faster R-CNN论文笔记——FR
热门推荐
FR的专栏
10-20 5万+
在介绍Faster R-CNN之前，先来介绍一些前验知识，为Faster R-CNN做铺垫。 一、基于Region Proposal（候选区域）的深度学习目标检测算法 Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-
R-Cnn 网络结构
weixin_40564352的博客
10-02 107
R-CNN(Region with CNN featrue),是深度学习目标检测的开山之作，作者是Ross Girshick，论文原名为 ：Rich feature hierarchies for accurate object detection and semantic segmentation。
(一)目标检测-R-CNN模型
MIge_的博客
09-11 1792
目标检测-R-CNN模型 在CVPR 2014年中Ross Girshick提出R-CNN。 1.1 完整R-CNN结构 不使用暴力方法，而是用候选区域方法（region proposal method）,创建目标检测的区域改变了图像领域实现物体检测的模型思路，R-CNN是以深度神经网络为基础的物体检测的模型 ，R-CNN在当时以优异的性能令世人瞩目，以R-CNN为基点，后续的SPPNet、Fast R-CNN、Faster R-CNN模型都是照着这个物体检测思路。 步骤（以AlexNet网络.
目标检测经典论文：RCNN系列，YOLO系列,SSD，相关综述类论文
07-01
目标检测经典论文：RCNN系列，YOLO系列,SSD，相关综述类论文包括算法对比分析等
Faster-RCNN的Tensorflow架构代码-目标检测（已跑通）
04-07
Faster-RCNN的Tensorflow架构代码 已跑通，主要对Faster-RCNN训练自己的数据集。进行目标检测，将文件中的data数据换为同格式类型的自己的数据即可。
Faster RCNN详解（个人理解）
LLL8552的博客
08-24 2万+
这是我在学习Faster R-CNN的原理时做的学习总结，个人感觉还是比较详细的。
RCNN算法详解
禅与计算机程序设计艺术
08-15 1272
作者：禅与计算机程序设计艺术 1.简介 R-CNN（Regions with Convolutional Neural Networks）是区域卷积神经网络（Region-based convolutional neural networks，R-CNN）的缩写，它是目前最热门的目标检测算法之一。其主要
文本分类模型(一)——RCNN
weixin_43886056的博客
08-30 1720
文本分类模型(一) RCNN 文章目录文本分类模型(一) RCNN一、概述二、背景三、RCNN原理3.1 模型结构3.2 前向传播1）Word Representation Learning2）Text Representation Learning3.3 反向传播四、RCNN处理文本分类4.1 在RNN模型的基础上修改实现RCNN的文本二分类4.2 RCNN文本多分类并利用TensorBoard可视化4.3 模型过拟合的处理五、总结 一、概述   TextRCNN是2015年中科院发表的一篇文本分类的论文
R-CNN、Fast RCNN和Faster RCNN网络介绍
chase
08-02 4245
R-CNN、Fast RCNN和Faster RCNN网络介绍
第二章:Fast R-CNN网络详解
ADICDFHL的博客
07-01 711
引言 最近，深度卷积神经网络（Deep ConvNets）在图像分类和目标检测的准确性方面取得了显著的进展。与图像分类相比，目标检测是一项更具挑战性的任务，需要更复杂的方法来解决。由于这种复杂性，当前的方法（例如[9,11,19,25]）在多阶段的流程中训练模型，这种方法速度慢且不够优雅。复杂性的原因在于检测需要准确地定位物体，这带来了两个主要的挑战。首先，需要处理大量的候选物体位置（通常称为“提案”）。其次，这些候选物体位置仅提供粗略的定位，需要进行精细调整才能实现精确的定位。
[学习笔记] 目标检测（Object Detection）——双阶段经典网络：R-CNN、Fast R-CNN、Faster R-CNN（One-stage）
Le0v1n 的博客
05-02 3062
本文讲解了目标检测领域非常经典的网络：R-CNN、Fast R-CNN、Faster R-CNN的理论部分
神经网络中的误差反向传播（Backpropagation）方法理解
最新发布
pumpkin84514的博客
05-14 1555
想象一下，神经网络就像是一个复杂的迷宫，里面有许多交叉路口（神经元），每个路口都有指示牌告诉你往哪个方向走（权重），而你的目标是找到从入口到出口的最佳路径，使得从起点到终点的路程最短或达到某个最优目标。
深度学习的目标检测算法理论基础引言
05-14
目标检测是计算机视觉领域的一个重要研究方向，其目的是在图像或视频中识别和定位...总的来说，深度学习目标检测算法的理论基础是非常丰富的，不同的算法有各自的特点和优劣势，需要根据实际应用场景进行选择和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值