RCNN-论文+个人理解

最新推荐文章于 2023-04-09 19:05:22 发布
最新推荐文章于 2023-04-09 19:05:22 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 论文 深度学习 文章标签： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/San_Junipero/article/details/79181257
版权

这里写图片描述

论文小结

数据集

PASCAL VOC 2007/2010，专门为目标检测设立的数据集

名词

SVR（support vector regression ）：支持向量回归
mean average precision (mAP)：平均准确率
constrained parametric min-cuts (CPMC) ：一种提出候选区域框的方法
selective search

过程

把图片转换成Caffe可兼容的输入（227*227），不管其本身的大小

产生类别独立的区域候选框

selective search 算法

使用大规模CNN从每一个区域内提取固定维度大小的特征向量

五个卷积层+两个全连接层，提取4096维特征向量

使用SVM线性分类器分类

根据提取的特征和图片的标签，针对每类优化SVM分类器，因为训练数据太大无法全部放到内存，所以使用了standard hard negative mining method，

非极大值抑制

给出所有区域的得分。然后针对每类独立地使用非极大值抑制，如果某一区域和一块更高得分的区域重叠率高于阈值，则拒绝掉该区域。

模块

定位物体

不同于图片分类，目标检测需要有一个定位物体的过程。

  • 一种方法是把定位过程看做一个回归问题。

  • 另一种方法是建立一个滑动窗口检测器。过去二十年内有人做过这方面的研究，但受限于物体类别，比如脸部，行人等。为了保证高精度图片，这些CNN结构采用的是两个卷积层加一个池化层。而本文采用的是五个卷积层。

本文通过“区域识别”范式来解决CNN定位问题，在目标检测和语义分割方面效果突出。

带标签数据稀少，不足以训练大规模CNN

一般解决方案是采用无监督预训练，加有监督fine-tune，本文使用有监督预训练加特定领域fine-tune。
对于CNN网络来说，可以被看做一个特征提取器，其在多类任务中表现良好。

有监督预训练： ILSVRC2012，带图片标签，的数据集上得到了model
特定领域fine-tune:把原来的1000类分类器改成了21类分类器（20类物体+背景），随机梯度下降学习率设为0.001，初始的十分之一。每一次迭代过程中，独立地把32个正样本和96个负样本组成一个128个的batch。

边界框回归

明显改善定位不准的问题。这也是出现的主要错误模式。如果标记的region和ground truth重复率IoU小于阈值（只标记出了一部分），就相当于没有找到物体对象，边界框回归的作用就是使这类框尽可能接近原始框。根据pool5层的特征和SS算法得到了候选区域训练了一个线性回归模型，效果可以提高3-4个百分点。

边界框回归和SVM都属于Loss。需要缩减训练/回归前后的差值。

语义分割

因为RCNN采用基于区域的操作方式，所以其很容易就可以扩展到语义分割的领域。确定目标区域就很方便分割出具体的对象。如下第二种，如果分割人，把人背景替成均值，减去均值后，非0部分即为人。
有三种在CPMC区域计算特征的策略：

  • 忽略图片形状，在其被裁剪的基础上直接提取特征。其忽略了非矩形区域，且两个区域可能有很相似的bounding box，而重复度很小。

  • 只在区域的foreground mask（前景）上计算特征。我们把背景替换成输入的均值像素，所以其减去均值后，全部化为0.

  • 第三种是前两种的折中。

特点

  1. 应用CNN来自底向上地生成区域候选框，以定位和分割物体。
  2. 有标记的物体数量较少的时候，在辅助任务上的有监督预训练，以及特定领域的fine-tune，实现较好效果。
  3. 目标检测过程高效。一是因为所有类别共享CNN参数，二是因为CNN得到的特征维度远低于当前的其他方法。大大提高了效率。
  4. fc6层的特征分类效果普遍比fc7层的特征分类效果好。也就是说CNN效果表现良好的原因，大部分是来自于卷积层而非全连接层。而当加入了fine-tuning后，各层的特征提取效果都得到了提升，而提升最为明显的是fc7层特征。这表明卷积层提取出了物体最普遍的特征，而从特定领域学习到的可以大大提高分类效果。
  5. 在目标检测领域，结合了计算机视觉领域的分类器和深度学习的知识。

拓展阅读

the PASCAL VOC best practices：M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman. The PASCAL Visual Object Classes (VOC) Challenge.IJCV, 2010.
detection analysis tool from Hoiem ： D. Hoiem, Y. Chodpathumwan, and Q. Dai. Diagnosing error in object detectors. In ECCV. 2012
回归模型 ：
https://blog.csdn.net/rylq56m9/article/details/51484697
https://blog.csdn.net/u012526003/article/details/79073401
最优化方法：梯度下降法，最小二乘法

Supplementary material

对象区域框变形

CNN的输入是固定227*227大小的，而对于算法的输入是任意大小的。所以在将图片输入CNN进行提取特征之前，需要对图片进行一定的转换变形。策略如下：

  • 带上下文的选取区域。选取一个包含目标物体的最小区域。然后将其放缩成合适的大小（227*227），送至输入。

  • 不带上下文的选取区域。只保留目标物体，排掉目标周围的其他内容。

  • 把目标物体拉扯至目标大小
    1. 无padding。
    2. padding设置。在上下左右多取p大小的像素。本文p = 16.

这里写图片描述

正样本vs负样本及softmax

  1. 为什么在fine-tune CNN和训练SVM分类器的时候对正负样本定义有区别。
    在fine-tune中，我们把候选区域和ground truth区域的IoU大于0.5的区域设为正样本，其他设为背景。
    在SVM分类器训练中，我们把ground truth区域设为其对应类别的正样本，IoU小于0.3的设为负样本，IoU大于0.3但不是ground truth的处于灰色区域，将被忽略掉。
    这种区别是经过多次评估得到的。其并不是非常重要，因为微调的数据是有限的。

  2. 为什么在微调后训练SVM
    在最后一层应用fine-tune后发现，其性能下降了四个百分点。其可能的原因如下：

    • fine-tune过程中的正样本并没有强调精准定位

    • softmax分类器是基于随机抽样的负样本，而非专门为SVM设置的hard负样本子集。

这表明，fine-tune后训不训练SVM分类器，其性能差不多。

边界框回归

在使用线性SVM分类器评估每一个候选区域的得分以后，我们使用一个基于类别的边界框回归器来预测一个新的候选区域，使其更贴近ground truth。
对于候选框，只有当其接近至少一个ground truth的时候，才会重新学习，回归。这里的接近被定义为，IoU>0.6.
其对每一类对象只调用一次，这是为了学习一个基于类别的bounding-box的回归器。
https://blog.csdn.net/zijin0802034/article/details/77685438/
输入：输入的不是x,y,w,h. 而是这个窗口对应的CNN特征，也就是R-CNN中的Pool5feature（特征向量）。(注：训练阶段输入还包括 Ground Truth)

问题

  • 无监督预训练和有监督预训练区别。有监督fine-tune和特定领域fine-tune关系

  • 边界框回归，

San_Junipero
关注
专栏目录
PV-RCNN论文和逐代码解析（一）
NNNNNathan的博客
03-11 8834
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 ...
R-CNN、Fast RCNN和Faster RCNN网络介绍
chase
08-02 6620
R-CNN、Fast RCNN和Faster RCNN网络介绍
faster-RCNN理解
Angela_qin的博客
03-05 1224
RPN是regional proposal networks的缩写，是faster-RCNN结构中的一部分。faster-RCNN由两个子网络构成。第一个子网络RPN的作用是在给定图像上提取一定数量带有objectness(是否包含目标的置信度)。第二个子网络直接利用fast-rcnn中的特征提取网络，用RPN获得的proposal替代fast-RCNN中selective search获取的pr...
RCNN-阅读笔记-理解
tuzixini的博客
11-23 325
R—CNN论文：Rich feature hierarchies for accurate object detection and semantic segmentation 论文翻译参考：http://blog.csdn.net/wangsidadehao/article/details/54237567 理解参考：http://blog.csdn.net/shenxiaolu1984/ar
Faster RCNN的理解点
BigCowPeking
09-17 476
Faster RCNN的理解点
RCNN详解（转）
08-11 2246
转载博客链接：http://blog.csdn.net/wopawn/article/details/52133338 paper链接：链接: https://pan.baidu.com/s/1qYO4vY8 密码: 62fd paper中相关名词解释：链接: https://pan.baidu.com/s/1nuAhidz 密码: pnsh 再推荐一个博客：http://blog.csdn...
RCNN 论文翻译和解读
I good vegetable a!
06-14 2524
论文题目：丰富的特征层次结构，用于精确的对象检测和语义分割 摘要 \quad在标准的PASCAL VOC 数据集上测量的目标检测性能在过去几年已经稳定。最佳性能的方法通常是一个复杂的混合系统，它通常将多个低级图像特征通过上下文组合起来形成高级特征。在本文中，我们提出了一个简单和可扩展的检测算法，相对于以前在PASCAL VOC2012上的最佳结果(实现mAP 53.3%)，在平均精度上(m...
《Mask RCNN》论文阅读笔记
prague6695的博客
04-17 379
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结参考 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面
R-CNN算法（论文部分翻译+个人总结）
qq_30146937的博客
02-03 1097
背景知识 R-CNN的实现步骤？ R-CNN的具体设计 R-CNN采用了哪些技术？ R-CNN的语义分割是怎么实现的？ 如何训练网络？ 测试阶段的内容 这篇论文做出的贡献有两个方面： （1）可以将高容量的卷积神经网络应用在自底向上的候选区域，以实现对目标的定位和分割。 （2）当标注的训练数据稀缺时，在大型辅助数据集（ILSVRC）上进行有监督的预训练，然后在小型数据集（PASCAL）上进行特定领域...
CTPN+CRNN+CTC+Faster-RCNN资料
qq_38834766的博客
03-24 945
CRNN论文翻译——中文版 一文读懂CRNN+CTC文字识别 - 白裳的文章 - 知乎（理论，很好！） 语音识别中的CTC算法的基本原理解释 NLP 之自然场景文字识别 2 CRNN tensorflow（代码解析） CTC（Connectionist Temporal Classification）论文笔记 CRNN算法详解 （RegionProposal Network)RP...
RCNN,Fast RCNN,Faster RCNN 的前生今世：（2） R- CNN （3，2，1）
01-08 141
3、三次IOU 2、2次model run 1，一次深度神经网络 rcnn主要作用就是用于物体检测，就是首先通过selective search 选择2000个候选区域，这些区域中有我们需要的所对应的物体的bounding-box，然后对于每一个region proposal 都wrap到固定的大小的scale,227*227(AlexNet Input),...
【论文笔记】RCNN
DLUT_yan的博客
06-01 966
1、创新点： 本文解决了目标检测中的两个关键问题。 问题一：速度 经典的目标检测算法使用滑动窗法依次判断所有可能的区域。本文则预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。 问题二：训练集 经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则需要训练深度网络进行特征提取。可供使用的有两个数据库： 一个较大的识别库（ImageNet ILSVC ...
RCNN的原理详解
weixin_45670912的博客
12-27 229
https://blog.csdn.net/WoPawn/article/details/52133338
RCNN详解
panfengblog
07-14 3万+
RCNN详解 RCNN即region proposals（候选区域） + CNN，是将CNN引入目标检测领域的开山之作（2014年），大大提高了目标检测的效果，在其后也是出现了更优异的变体Fast RCNN, Faster RCNN。 下文按照RCNN的工作过程依次介绍 1. 生成候选区域 获取候选区域最直接的方式就是滑窗法了，但是滑窗法需要用一个固定大小的小窗口遍历整张图片，因此其有很多的局限性。 所以一般都是使用一些候选区域（Region Proposal）算法，候选区域算法使用一些图像分割的算法来识别
深度学习之RCNN详解
test
12-12 2760
RCNN=R+CNN 定义： R:Region Proposal(候选区域)； CNN:Convolutional Neural Network(卷积神经网络)； 作用： R:用于解决定位问题； CNN:用于解决识别问题；定位的问题的解决思路？ 思路一：看作回归(Regression)问题 目的：预测出(x,y,w,h)四个参数的值，从而得出方框的位置。 步骤一：搭建一个识别图像的
RCNN总结
年轻即出发，
12-14 1404
之前在ubuntu下搞过，没有弄出来，想起来实在是不甘心，现在重新拾起，感觉学的还是迟了好几年啊。   RCNN 出自2014 cvpr Rich feature hierarchies for accurate object detection andsemantic segmentation   该文章主要提出了以下3个点， (1)CNN网络结构，采用selective search...
神经网络的认识（七）R-CNN
赫凯的博客
06-07 5356
R-CNNRegion Proposal候选区域（Region Proposal）候选区域选择CNN 特征提取分类与边界回归 Region Proposal 可以解决滑动窗口的问题 候选区域（Region Proposal） 是预先找出图中目标可能出现的位置。它利用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口(几千甚至几百）的情况下保持较高的召回率（Recall）。 RCNN（Regi...
R-CNN论文解读/总结 详细笔记
最新发布
m0_57787115的博客
04-09 4660
此篇为目标检测经典论文 R-CNN系列论文：R-CNN （Rich feature hierarchies for accurate object detection and semantic segmentation）解读/总结详细笔记
R-CNN论文详解（论文翻译）
热门推荐
Cheese的博客
05-08 10万+
faster-rcnn在深度学习领域算是一篇开创性的论文，对后续产生的而网络有很重要的意义，认真读懂这篇论文，相信也算是深度学习入门了 。今天又重新读了读faster-rcnn,整理了一份阅读笔记，整理的过程使自己对整个深度学习又有了更深的理解。果然论文还是应该多读几遍才能理解的。
RCNN-CVPR14:深度理解与PASCAL VOC竞赛成果
"RCNN-CVPR14-slides 是一份关于区域卷积神经网络（Region Convolutional Neural Networks, RCNN）的英文PPT，该主题由 Ross Girshick、Jeff Donahue、Trevor Darrell 和 Jitendra Malik 等专家共同贡献。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值