目标检测：RCNN 系列解读

最新推荐文章于 2022-11-19 15:34:05 发布
最新推荐文章于 2022-11-19 15:34:05 发布
阅读量2k 收藏 1
点赞数
分类专栏： 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43226400/article/details/105470231
版权
RCNN系列从R-CNN到Fast R-CNN、Faster R-CNN，再到FPN，逐步优化了目标检测的效率和准确性。R-CNN通过预训练的CNN提取特征，SVM分类，引入region proposal；Fast R-CNN通过RoI pooling层整合特征提取和分类，引入多任务损失；Faster R-CNN提出RPN网络，同时进行region proposal和检测；FPN构建特征金字塔，提升小目标检测效果。文章详细介绍了每一步的创新点、训练策略和性能提升。
摘要由CSDN通过智能技术生成

RCNN 系列解读

先放一个大神博客吧，膜拜~
http://www.rossgirshick.info/
有空还需要把细节和补充材料review一下！

参考：
https://cloud.tencent.com/developer/news/281788
其他人的博文整理：
https://www.cnblogs.com/yhyue/p/9247962.html
https://blog.csdn.net/briblue/article/details/82012575

目标检测前沿及回顾（2018）
脉络清晰，有延伸

关于目标检测的论文集锦参看下面这个GitHub：
https://github.com/hoya012/deep_learning_object_detection

零、R-CNN之前的故事

  1. HoG特征 梯度直方图
    参考:HoG特征
    ① 对图像进行预处理，主要是伽马矫正和灰度化，尽量去除光照的影响
    ② 对原图中的每一点，计算其梯度值，得到其梯度的大小和方向
    例如，水平方向梯度gx：做水平差分；竖直方向梯度gy：做竖直差分。
    总的梯度大小g = sqrt(gx2+gy2)
    总的梯度方向θ = arctan(gx/gy)
    ③ 计算梯度直方图
    将8x8大小的区域划分为一个cell，其元素共有8x8x2=128个关于梯度的值，将其按角度分到9个bin中，这9个bin是将180度划分为9份得到。这样，就得到一个长度为9的数组（梯度的直方图）。一般来说，观察梯度方向的主要分布范围，就可以大致认为该8x8区域的具有某个方向的边缘。HoG是对边界敏感，对灰度变化平坦的区域不敏感。
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UvMmOvNR-1586676325899)(en-resource://database/2775:1)]
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EJhlpGAa-1586676325901)(en-resource://database/2777:1)]
    ④ 以4个cell为一个block进行归一化，进一步降低光照影响。
    一个block事实上对应16x16的区域。4个cell，每个cell经过梯度直方图计算已经转化为一个长度为9的vector，现在一个block相当于包含一个长度为4x9=36的vector。这里的归一化，就是对这个长度为36的向量进行归一化。
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4wJ9nQW6-1586676325906)(en-resource://database/2773:1)]
    ⑤ 得到HoG特征向量
    注意block是在整张图上滑动的，因此对于64x128的图像，共7x15个block。
    因此一张图像的HoG向量为7x15x36 = 3780
    得到HoG特征向量之后，一般用svm进行分类。

  2. sift特征
    包含了候选特征提取、特征描述两个部分。其中特征描述为重点，因为特征提取可以用很多方法实现，并不是sift的核心。
    ① 特征提取
    a 候选关键点
    通过高斯尺度差分（DoG）实现，DoG是高斯金字塔和差分金字塔的结合。所谓高斯金字塔，是多组图像金字塔，在每组金字塔中，图像尺寸不变，也就是分辨率相同，但高斯核的方差按一定比例增长，也就是模糊程度不同。在不同组之间，尺寸每次减半，也就是进行步长为2的下采样。而差分金字塔，就是高斯金字塔中，同一组内的相邻图像两两差分形成。
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d4RNPCrI-1586676325909)(en-resource://database/2779:1)]
    对DoG的图像进行归一化，可以看到差分图像所蕴含的特征。并且有的特征是在不同模糊程度、不同尺度下都存在的，这些特征正是sift要提取的特征。
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wTUaXhdp-1586676325911)(en-resource://database/2781:1)]
    b 关键点定位
    通过DoG筛选出候选关键点后，对这些关键点进行精确的拟合，来进一步确定位置和尺度

② 特征描述
类似简易版hog
https://www.cnblogs.com/wangguchangqing/p/4853263.html

  1. selective search
    ① 分割
    先按一定方法将图像分割为许多小快，然后使用贪心策略，计算每两个相邻区域的相似度，然后每次合并最相似的两块，将这其中每次产生的图像块都保留下来，这样就得到了图像的分层表示。
    ② 区域合并-如何检测相似性
    采样三种多样性策略来增加候选区域，避免并不相似区域被错误合并，或者相似区域没有被合并到。
  • 多种颜色空间
  • 多种相似度度量，如颜色、纹理、大小、重叠
  • 通过改变阈值初始化原始的区域，阈值大，则分割的区域少
    ③ 给区域打分
    给定权重，相同区域多次出现权重叠加，计算所有目标区域的分数，排序。
    ④ 性能评估
    通过算法计算得到的包含物体的Bounding Boxes与真实情况（ground truth）的窗口重叠越多，那么算法性能就越好。

一、R-CNN

Rich feature hierarchies for accurate object detection and semantic segmentation | [CVPR’ 14] |
参考：
https://blog.csdn.net/wopawn/article/details/52133338（非常详细的解读了rcnn各个部分是如何训练，如何选择和构造样本，以及输入输出形式。（重点关注bbox回归的部分））

创新点：
1.采用CNN网络提取图像特征，从经验驱动的人造特征范式HOG、SIFT到数据驱动的表示学习范式，提高特征对样本的表示能力；
2.采用大样本下有监督预训练+小样本微调的方式解决小样本难以训练甚至过拟合等问题。

编辑于2019/12/26
**在AlexNet在ImageNet上获得成功之后，R-CNN作者思考是否能将其用到目标检测领域的Pascal VOC数据集上来。由于目标检测的数据集较少，采用了迁移学习的方法，即对ImageNet上的预训练模型进行fine-tune。于是R-CNN的基本思路为：

  1. 通过selective research在图片上生成2k个region proposal
  2. 将所有proposal缩放（warp）到227x227，依次送入特征提取网络获得一个4096维特征（细节：warp时对各区域进行膨胀，也就是人为添加了边框，每个box向外扩张了16个像素）
  3. 将特征输入每个类别的SVM进行分类，每个类别的SVM给所有特征向量进行单独打分。也就是说，现在的每个region proposal都有针对每个类别的分数；而每****一类别，在每个region proposal上都有一个得分
  4. 对每个类别，分别使用NMS进行候选框筛选，拒绝掉一些和高分区域IOU大于阈值的候选框
  5. 分类完毕，进行bbox regression **

CNN和SVM各自的训练策略：

  1. 特征提取网络是AlexNet（5个卷积，3个全连接）的迁移学习;
    特征提取器CNN训练时，输入网络的proposal（bbox参数，xywh），如果其和真实标注的框IoU>0.5就认为时positive，否则认为是negtive；学习率设维初始化训练时的1/10；每轮SGD迭代，使用正负例样本数维32:96
  2. 分类器SVM训练时，完全重合的认为是groudtruth，IoU<0.3的认为是背景，其余丢弃（注意这个0.3的阈值选择很重要，是在[0.1,0.2,0.3,0.4,0.5]中网格搜索得到的；训练时采用hard negtive mining策略，也就是每次迭代时，将损失函数最高的。
    关于为什么CNN和SVM训练时使用正负样本比例不同的一个讨论：
    （简而言之就是CNN需要大样本来避免过拟合，而阈值宽松一点能提供更多样本；而svm适合小样本学习，故使用更严格的阈值）
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-juxNzikf-1586676325914)(en-resource://database/1263:1)]

此外，作者还讨论了为什么单独训练一个svm分类器，而不是使用cnn层的fc层（见补充材

最低0.47元/天 解锁文章
Crystal 
关注
专栏目录
【神经网络】目标检测——RCNN
liuyanlin0102的博客
05-30 468
test阶段： 用Selective Search招两千左右的Rigion Proposal，并且图像四周加16个像素，再wrap最为CNN输入（227*227*3），这个是Alexnet的input。之所以这样是可以很好地利用Alexnet的结果； 用CNN特征提取特征（2000*4096）。网络结构就是AlexNet，输入227*227*3，第五层输出6*6*256，第六层输出：4096，...
目标检测：RCNN系列总结
Nick Hwong's Blogs
04-16 239
RCNN系列 1）RCNN 候选框提取：使用selective search来提取类别独立的object proposals 特征提取：使用一个预训练的模型进行finetune。由于在ImageNet上预训练模型输出是1000类，而VOC只需要21类（加上后景），因此需要替换掉最后一层。将SS提取的候选框统一到同一size放入网络进行finetune，候选框跟ground truth box的...
深度学习之目标检测之RCNN
FLY_CAFFE的博客
04-15 441
深度学习之目标检测之RCNN ------2014.10 1.1    R-CNN物体识别  三个核心模块：1.类别独立region proposal；2.从各个region中提取固定长度特征向量的CNN；3.特定分类linear SVM   1.1.1   region proposal 方法包括objectness, selective search, category-inde...
R-CNN笔记3：rcnn_test.m文件
tianliangjay的专栏
04-19 694
rcnn_test.m
RCNN目标检测
AI-Mei的博客
12-23 327
paper：Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5) data:22 Oct 2014 论文摘要 目标检测在PASCAL VOC数据集上的表现已经趋于平稳，没有大的突破。在该论文中，提出一种简单可扩展的检测算法，mAP提升超过30%，在VOC 2...
目标检测论文解读1：（RCNN解读）Rich feature hierarchies for accurate object detection...-附件资源
03-02
目标检测论文解读1：（RCNN解读）Rich feature hierarchies for accurate object detection...-附件资源
rcnn-model-test:rcnn模型创建者和Java推理的简单示例
05-09
RCNN模型测试 该存储库是一个简单的示例，使用tensorflow对象检测库尝试使用用法和学习模式以使其平稳运行。 创建培训数据 这可以通过使用注释数据以YOLO或PascalVOC格式注释图像来完成。 然后，您可以使用此处提供的java类从XML或JSON格式创建TFRecords。 训练模式 在遵循页面上的安装指南之后，即可开始培训。 运行以下命令，为训练配置和训练输出目录提供新目录，将训练您的模型。 python object_detection/train.py \ --logtostderr \ --pipeline_config_path=[CONFIGURATION] \ --train_dir=[TRAINING OUTPUT DIR] 评估模型 训练完模型后，您可以使用已保存的用于评估的一组示例对其进行验证。 在指定配置文件，训练输出目录和
浅谈目标检测RCNN,SPPNET,Fast-RCNN,Faster-RCNN
专心搬砖...
11-29 2410
RCNN 目标检测-R-CNN模型 ●CVPR 2014 ●候选区域方法(region proposal method) :提供了额物体检测的一个重要思路 ●RCNN步骤: 。1、对于一张图片，找出默认2000个候选区域 。2、2000个候选区域做大小变换(crop+warp)，输入AlexNet当中， 得到特征向量：[2000, 4096] 。3、经过20个类别的SVM分类器，对于2000个候选区域做判断，得到[2000, 20]得分矩阵 。4、2000个候选区域做非极大抑制（NMS），去除不好的，重叠度
RCNN家族的详解（RCNN，FAST RCNN， FASTER RCNN）
weixin_40586929的博客
10-21 931
目标检测 在目标检测中，一类是基于Region Proposal的R-CNN系算法（R-CNN，Fast R-CNN, Faster R-CNN），它们是two-stage的，需要先使用启发式方法（selective search）或者CNN网络（RPN）产生Region Proposal，然后再在Region Proposal上做分类与回归。 而另一类是Yolo，SSD这类one-stage算法，其仅仅使用一个CNN网络直接预测不同目标的类别与位置。第一类方法是准确度高一些，但是速度慢，但是第二类算法是速
深度学习testCNN的python实现
09-24
深度学习TextCNN的keras和tensorflow实现，精简版。。。。
R-CNN论文笔记《Rich feature hierarchical for accurate object detection and semantic segmentation》
邬小阳
03-10 1871
R-CNN 论文学习笔记
深度学习之RCNN详解
test
12-12 2760
RCNN=R+CNN 定义： R:Region Proposal(候选区域)； CNN:Convolutional Neural Network(卷积神经网络)； 作用： R:用于解决定位问题； CNN:用于解决识别问题；定位的问题的解决思路？ 思路一：看作回归(Regression)问题 目的：预测出(x,y,w,h)四个参数的值，从而得出方框的位置。 步骤一：搭建一个识别图像的
textCNN，RCNN，DPCNN，HAN学习记录
m0_46708519的博客
07-17 1187
1.textCNN 1.1textCNN简介 目前，大多数的深度学习都是从CNN神经网络模型开始的，但CNN更多地被应用于图像领域之中，因为一张图片可以很容易地被抽象成一个矩阵的形式，矩阵的每一个元素可以看做是图片的一个像素点，定义一个或多个CNN的卷积核，可以很容易的进行卷积操作，进而通过池化操作，就可以抽取图片中的特征。而文本数据相较于图片就难处理得多，首先，我们无法去规范一个词的大小，因为它可能是一个字，也可能是很多字的组合，在上一层，我们也无法确定一个句子中有多少个词，由于这种不确定，我们需要进行一
【RCNN】Rich feature hierarchies for accurate object detection and semantic segm--用于精确物体定位和语义分割，论文翻译
最新发布
qq_69954039的博客
11-19 1575
过去几年里，在标准PASCAL VOC数据集上，物体检测性能已经趋于稳定。性能最好的方法是复杂的集成系统，通常将多个低级图像特征与高级上下文相结合。在本文中，我们提出了一种简单且可扩展的检测算法，其均值平均精度(mAP)比之前VOC 2012的最佳结果提高了30%以上，达到了53.3%。我们的方法结合了两个关键见解:(1)可以将高容量卷积神经网络(CNNs)应用于自底向上的区域建议，以定位和分割对象;(2)当标记训练数据稀缺时，辅助任务的监督预训练，然后进行特定领域的精细调优，产生显著的性能提升。
显著性目标检测SOD论文大盘点
asd1234bbbb的博客
03-18 595
显著性目标检测SOD论文大盘点 2020/6/15 图像SOD Hierarchical Saliency Detection cvpr2013 salient detection by multi-context deep learning 2015 Saliency Unified A Deep Architecture for simultaneous Eye Fixation Prediction and salient object detection CVPR 2016 Deeply
RCNN(Regions with Convolutional Neural Network Feature)
u011961856的专栏
08-03 2745
背景知识 在目标检测评价中,有一个参数定位准确率,即IOU,IOU计算公式如下: ​ 简单来说,IOU就是模型预测的bounding box与标记bounding box的重合率. 通常我们预测的bounding box是无法与标记bounding box完全重合的,例如下面几种情况: 因此可以通过求两个bounding box的重合率即IOU,并设定一个阈值t0,并认为IOU值
【目标检测】RCNN算法详解
热门推荐
shenxiaolu1984的专栏
04-05 22万+
深度学习用于目标检测的RCNN算法
Deformable Convolutional Networks v2 可变形卷积v2论文理解（更新中）
weixin_39568744的博客
04-15 2273
本论文的翻译版可以参考我的这篇博客：https://blog.csdn.net/weixin_39568744/article/details/89218635 知识栈 在阅读这篇论文时遇到了很多知识盲区和疑惑，所以途中阅读了很多其他论文和文章。现将其中感觉不错的记录如下： 知识蒸馏网络：https://www.cnblogs.com/liaohuiqiang/p/9170582.html ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值