R-CNN

最新推荐文章于 2023-06-24 17:29:07 发布
最新推荐文章于 2023-06-24 17:29:07 发布
阅读量397 收藏 1
点赞数 2
文章标签： R-cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35732097/article/details/80022667
版权

R-CNN

​ Region proposals with CNNs(R-CNN)用分类的方法解决目标检测的问题。和之前的方法相比，R-CNN把mAP提高了30%多。

基本流程

R-CNN模型分为4个步骤：

  1. 生成候选区域：一张原始图片生成约2000个候选区，文章采用的是Selective Search方法。
  2. 特征提取：把候选区域缩放到固定尺寸送入CNN做特征提取。固定尺寸取决于使用的网络模型，文章中用的是AlexNet，故缩放到227×227。
  3. 分类器：把提取的特征送入SVMs进行分类，判别属于哪个类别。
  4. 回归器：使用回归器精修候选框的四个参数。
    这里写图片描述

训练

1. 有监督预训练

​ 在数据量大的辅助数据集上（ILSVRC 2012）训练CNN网络，仅仅用分类标签训练。ILSVRC 2012数据集包含1000个类别的样本。

2. fine-tuning 微调

​ 把1中的训练结果作为CNN的初始化参数，把CNN的输出由1000个类别改为21个类别，其他结构不变，再次进行训练。21个类别是VOC的20个类加上背景类构成。

​ 训练数据：输入是region proposal，输出是类别。对于一个region proposal，若与任何一个ground-truth的IoU<=0.5，标记为正类，类别是IoU最大的ground-truth的类别；否则为负例，就是背景类。负例数量要远多于正例。

​ 训练细节：随机梯度下降SGD；mini_batch = 128，其中32个正例（包含所有类别），96个背景类；步长为0.001。每个batch都偏向正例，提高了正例的比例。

3. 分类器

​ R-CNN又单独训练了SVMs分类器，没有直接采用2中的FC+softmax+cross entropy，并且样本正负例的划分也不同。对于一个候选框，当IoU<0.3时标记为负例（0.3这个值是在{0,0.1,…,0.5}六个阈值上做交叉验证得到的）；只有ground truth被标记为正例。对于每个类别训练一个SVM分类器，由于训练数据太多，内存不够，文章采用了hard negative mining method。

如何做hard negative mining（困难样本挖掘）？
    hard negative：就是false positive的样本，候选框标记为负例，预测为正例的样本。比如：一个候选框标记为背景类，但候选框中可能有一半包含了object，此时模型可能对这个框false positive，即把它预测为正例。
    easy negative:候选框全是背景，模型就很容易把这样的框正确识别为背景类。
    对于目标检测来说，大量的候选框为背景类，较少的框为目标类别，目标类别比较容易辨别（目标类的框IoU=1，因为只有ground truth被标记为正例），IoU接近0的背景类也容易，但是IoU不接近0的背景类容易被预测为某个目标类别，所以要重点关注。
    hard negative mining方法就是在迭代中重点关注了false positive：进行一轮训练，用此时的模型对负例（背景类）进行预测，把被预测为正例的样本加入训练集合；进行新一轮的训练和关注。
    为什么不直接采用fine-tuned CNN中的输出，而是又训练一个分类器？为什么在fine-tuning和SVM training阶段，正负例的划分标准不同？
    作者尝试使用FC8的输出进行非极大值抑制，发现效果不如当前方法好。原因在于：训练CNN时，IoU>0.5就被标记为正例，这个条件对于分类器来说过于宽松，所以CNN不能实现精确定位；但是若把条件提高，比如阈值提高，则会减少正例的数量，不适合深度学习的训练。因此进行hard positive mining的SVM训练。训练支持向量机时，IoU=1为正例，IoU<0.3为负例，样本量减少，SVM适合小样本的分类问题。

4.回归器

​ 文章在误差分析中提到了 bounding box regression，精修之后mAP提高了3到4个百分点。

如何做bounding box regression？

测试

​ 按照开头提到的流程：SS提取候选框，缩放到227*227，送入CNN提取特征（AlexNet最后一个全连接层的输出reshape为4096-d的向量），最后分别送入分类器和回归器。

​ 分类器输入候选框的特征向量，得到某个候选框在K=20个类别上的打分；对于2000个候选框，得到2000×20的矩阵。在矩阵的每一列上做贪婪的非极大值抑制（non-maximum suppression,NMS），即在每个类别上执行NMS，目的是去除相交的多余候选框。最后把分值小于某个阈值的的候选框剔除（文章没有提到，应该是这样），最终得到的候选框即为R-CNN检测的目标。（先剔除，再NMS应该也可以。）

如何做non-maximum suppression？
    1.每一列2000个分值，按照将序排列。
    2.选中得分最高的框，遍历剩下所有的框，若IoU大于某个阈值，则删除该框。
    3.在剩下的proposals中，执行2，直到所有的proposals都被选中。
Oliver_-_
关注
Scale-Aware Domain Adaptive Faster R-CNN
weixin_36670529的博客
02-24 1772
摘要 目标检测通常假设训练和测试样本来自一个相同的分布，然而，这在实践中并不总是成立。这样的分布不匹配可能会导致显著的性能下降。在这一工作中，我们提出了尺度感知域自适应快速R-CNN，旨在提高目标检测的跨域鲁棒性。特别是，我们的模型改进了传统的Faster R-CNN模型，在两个层面上处理了域的移动:(1)图像层面的移动，如图像样式、光照等;(2)实例层面的移动，如目标的外观、大小等。两个领域自适应模块通过对抗性训练方式学习领域分类器实现。此外，我们还观察到目标尺度上的巨大差异常常给跨域目标检测带来重大挑战
Domain Adaptive Faster R-CNN for Object Detection in the Wild
weixin_36670529的博客
05-06 2682
摘要 典型的目标检测假定训练和测试数据来自同一个理想分布，但是在实际中这通常是不满足的。这种分布的错误匹配将会导致一个明显的性能下降。这篇工作我们旨在提升目标检测的跨域鲁棒性。我们在两个层级上解决域偏移问题：(1)、图像级偏移，例如图像的风格、亮度等。(2)、实例级偏移，例如目标的外观、尺寸等。基于最近的最先进的目标检测器Faster R-CNN来构建我们的方法，我们设计了两个域适配组件，图像级和实例级，来减少域矛盾。这两个域适配组件基于H散度理论，并且用对抗训练方式训练的域分类器来实现。不同级别的域分类
【DA 02】Domain Adaptive Faster R-CNN for Object Detection in the Wild (CVPR 2018)
qq_40731332的博客
11-28 489
摘要： 目标检测通常假设训练和测试数据来自同一分布，不同分布会出现结果变差。本文致力于改善目标检测的cross-dmain robustness，通过两个level的domain shift：（1）the image-level shift，例如图片风格、光照等；（2）the instance-level shift，例如：目标外观、大小等。 具体是基于Faster RCNN，建立两个domain adaptation componets，他们基于H-散度，通过在对抗训练学习一个domain ...
“Domain Adaptive Faster R-CNN for Object Detection in the Wild“代码笔记
weixin_41959473的博客
10-27 736
代码链接：https://github.com/krumo/Domain-Adaptive-Faster-RCNN-PyTorch 1、各种环境问题，重新建个环境，python3.6 2、CentOS和ubuntu 帖子看串了，没有yum 3、error: command ‘gcc’ failed with exit status 1的问题 https://blog.csdn.net/mm1327/article/details/106878984 搜错误技巧：搜具体error（从第一个开始），加上跑的工程
R-CNN和Fast R-CNN组内汇报PPT
03-12
本文档对R-CNN和Fast R-CNN的组内汇报进行了详细的介绍，涵盖了目标检测领域的发展、R-CNN的提出、Selective Search算法、R-CNN算法流程、Fast R-CNN的改进等方面。 随着人工智能和深度学习技术的发展，目标检测...
R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
01-06
R-CNN原理：   R-CNN遵循传统目标检测的思路，同样采取提取框，对每个框提取特征，图像分类，非极大值抑制等四个步骤，只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。  对于原始图像， 首先...
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD.doc
12-23
2. 候选区域/窗 + 深度学习分类，如 R-CNN、Fast R-CNN、Faster R-CNN 等 3. 基于深度学习的回归方法，如 YOLO、SSD、DenseBox 等 三、候选区域/窗 + 深度学习分类 候选区域/窗 + 深度学习分类是目标检测算法的一...
深度学习的目标检测技术演进：R-CNN、FastR-CNN、FasterR-CNN
02-25
本文来自于个人微博，本文介绍基于regionproposal的R-CNN系列目标检测方法是当前目标检测技术领域最主要的一个分支。objectdetection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object...
Faster R-CNN backbone - ResNet101.zip
07-03
标题"Faster R-CNN backbone - ResNet101.zip"涉及的是计算机视觉领域的一个关键算法——Faster R-CNN（快速区域卷积神经网络），它使用ResNet101作为其基础特征提取网络。Faster R-CNN是目标检测领域的里程碑式工作...
Domain Adaptive Faster R-CNN：经典域自适应目标检测算法，解决现实中痛点，代码开源 | CVPR2018
晓飞的算法工程笔记
06-22 3185
论文从理论的角度出发，对目标检测的域自适应问题进行了深入的研究，基于H-divergence的对抗训练提出了DA Faster R-CNN，从图片级和实例级两种角度进行域对齐，并且加入一致性正则化来学习域不变的RPN。从实验来看，论文的方法十分有效，这是一个很符合实际需求的研究，能解决现实中场景多样，训练数据标注有限的情况。   来源：晓飞的算法工程笔记 公众号 论文: Domain Adaptive Faster R-CNN for Object Detection in the Wild 论文地.
目标检测：Faster R-CNN
flyingzhao
12-20 2156
《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》论文解读本文来自Shaoqing Ren，看论文作者列表也是天团级配置，Kaiming He, Ross Girshick, and Jian Sun。概述前面的Fast R-CNN已经把特征提取、目标分类和边框回归统一到了一个框架下面，现在
经典网络解读系列（一）：RegionProposal+CNN （rcnn）
zlrai5895的博客
06-18 2877
论文来自《Rich feature hierarchies for accurate object detection and semantic segmentation》 目标： 目标检测   模型结构： 1、使用select search对每张图像产生1k-2k个候选区域（这一步和目标类别无关） 2、对候选区域resize到统一尺寸。（227*227）这里resize的方法有三种：...
域适应目标检测：DA Faster R-CNN论文笔记——Domain Adaptive Faster R-CNN for Object Detection in the Wild
qq_50001789的博客
06-24 1379
论文题目：《Domain Adaptive Faster R-CNN for Object Detection in the Wild》 本文提出了一种有效解决跨域目标检测问题的域适应Faster R-CNN算法，可以实现在不使用任何附加标记数据的情况下获得新领域鲁棒性的检测器。作者在对跨域目标检测理论分析的基础上，提出了一个图像级自适应组件和实例级自适应组件来缓解由域偏移引起的模型性能下降的问题
R-CNN算法学习（步骤三：SVM分类）
Dlog的博客
01-07 6132
R-CNN算法学习（步骤三：SVM分类） SVM分类： 训练阶段 这是一个二分类问题，假设我们要检测车辆。我们知道只有当bounding box把整量车都包含在内，那才叫正样本；如果bounding box 没有包含到车辆，那么我们就可以把它当做负样本。但问题是当我们的检测窗口只有部分包含物体，那该怎么定义正负样本呢？作者测试了IOU阈值各种方案数值0,0.1,0.2,0.3,0.4,0.5。最后...
Domain Adaptive Faster R-CNN for Object Detection in the Wild 阅读笔记及源码实现
tiancity的博客
01-28 2065
    本文是CVPR2018的一篇文章，由于官方代码是caffe写的，但是caffe环境的搭建太过繁琐，因此基于pytorch现有的faster-rcnn框架进行了复现，mAP略高于原始论文（可能测试集的设定不是完全一致造成的），具体实现github链接：da-faster-rcnn-pytorch 欢迎star！   1.前言     本文是我目前已知的最早将非生成式对抗学习方法利用到...
CVPR 2017、2018 - 目标检测文章
quanwei的博客
06-21 9023
CVPR 2018 Cascade R-CNN: Delving into High Quality Object Detection Domain Adaptive Faster R-CNN for Object Detection in the Wild Multi-scale Location-aware Kernel Representation for Object Detectio...
搭建目标检测模型之Domain Adaptive Faster R-CNN for Object Detection in the Wild
moutain9426的博客
09-13 2978
搭建目标检测模型Domain-Adaptive-Faster-RCNN-PyTorch，涉及环境搭建、训练和测试的流程，对过程中出现的问题给出了解决办法。
My Jumble of Computer Vision
热门推荐
joshua_1988
08-25 1万+
I am going to maintain this page to record a few things about computer vision that I have read, am doing, or will have a look at. Previously I’d like to write short notes of the papers that I have rea...
R-CNN、fast-R-CNN、faster-R-CNN、mask-R-CNN介绍
最新发布
03-01
R-CNN（Region-based Convolutional Neural Networks）是一种目标检测算法，它通过两个阶段来检测图像中的目标物体。首先，R-CNN使用选择性搜索（Selective Search）算法生成一系列候选区域，然后对每个候选区域进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值