detection/region/object proposal 方法综述文章

最新推荐文章于 2018-01-04 16:11:57 发布
最新推荐文章于 2018-01-04 16:11:57 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： ObjectDetect

Papers

  • J. Hosang, R. Benenson, P. Dollár, and B. Schiele. What makes for effective detection proposals? arXiv:1502.05082, 2015.
    arXiv
    @ARTICLE{Hosang2015arXiv,
  author = {J. Hosang and R. Benenson and P. Doll\'ar and B. Schiele},
  title = {What makes for effective detection proposals?},
  journal = {arXiv:1502.05082},
  year = {2015}
}
  • J. Hosang, R. Benenson, and B. Schiele. How good are detection proposals, really? BMVC 2014.
    PDF, arXiv
    @INPROCEEDINGS{Hosang2014Bmvc,
  author = {J. Hosang and R. Benenson and B. Schiele},
  title = {How good are detection proposals, really?},
  booktitle = {BMVC},
  year = {2014}
}

转自：http://zhangliliang.com/2015/05/19/paper-note-object-proposal-review-pami15/

论文的项目地址：
https://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/research/object-recognition-and-scene-understanding/how-good-are-detection-proposals-really/

大纲

根据文章的描述顺序，以下内容大概会是：

  1. 回顾object proposal（以下简称为OP）的各种方法，将其分类。
  2. 讨论不同OP在图片被扰动之后的在复现上的鲁棒性
  3. 讨论不同OP在PASCAL和ImageNet上的Recall，这里作者提出了Average Recall（简称AR）的一种新的标准
  4. 讨论不同OP对于实际分类的性能比较（用了DPM和RCNN这两个著名detector进行比较），以及说明了AR是一个跟性能相当相关的标准。

先上一个效果的一览表格：

注意到这里只列出了可以找到源码的方法，那么，下面一点点开始整理。

各种OP方法的回顾

作者大致将OP方法分成了两类，一类叫grouping method，一类叫window scoring method。前者是指先将图片打碎，然后再聚合的一种方法，比如selective search。后者是生成大量window并打分，然后过滤掉低分的一种方法，比如objectness。另外还有一些介乎两者之间的方法，比如multibox。

Grouping proposal methods

作者将grouping的方法继续细分为三个小类。SP，对superpixel进行聚合；GC，使用种子点然后groupcut进行分割；EC，从边缘图提取proposal。下面分别调一个进行介绍

  • SelectiveSearch (SP): 无需学习，首先将图片打散为superpixel，然后根据人为定义的距离进行聚合。
  • CPMC (GC): 随机初始化种子点，然后做graphcut进行分割，反复多次，然后定义了某个很长的特征进行排序。（所以速度超级慢）
  • MCG (EC): 首先用现成方法快速得到一个层次分割的结果，然后利用边缘信息进行聚合。

Window scoring proposal methods

不同于前者需要通过聚合小块来生成候选框，这里的方法是先生成候选框，然后直接打分排序来过滤掉低分的候选框。介绍两种比较出名的方法，

  • Bing: 训练了一个简单的线性分类器来通过类似滑窗的方式来过滤候选框，速度惊人地快，在CPU上能够达到ms级别。但是被文献[40]攻击说分类性能不是来自于学习而是几何学。
  • EdgeBoxes: 跟selective search一样是一个不需要学习的方法，结合滑窗，通过计算窗口内边缘个数进行打分，最后排序。

Aliternate proposal methods

  • multibox，目前笔者所知唯一基于CNN提取proposal的方法，通过CNN回归N个候选框的位置并进行打分，目前在ImageNet的dectection track上应该是第一的。

Baseline proposal methods

这里用了Uniform，Gaussian，Sliding Window和Superpixels作为baseline，不是重点就不展开说了。

各种OP方法对于复现的鲁棒性的讨论

这里作者提出这样的假设：一个好的OP方法应该具有比较好的复现能力，也就是相似的图片中检索出来的object应该是具有一致性的。验证的方法是对PASCAL的图片做了各种扰动（如Figure 2），然后看是否还能检测出来相同的object的recall是多少，根据IoU的严格与否能够得到一条曲线，最后计算曲线下面积得到repeatability。

这里图表很多具体请看原论文，这里直接上作者的结论，Bing和Edgeboxes在repeatability上表现最好。

各种OP方法的recall

这里提出了好的OP方法应该有着较高的recall，不然就要漏掉检测的物体了。这里讨论了三种衡量recall的方式：

  1. Recall versus IoU threshold: 固定proposal数量，根据不同的IoU标准来计算recall
  2. Recall versus number of proposal windows: 跟1互补，这里先固定IoU，根据不同的proposal数目来计算recall
  3. Average recall(AR): 作者提出的，这里只是根据不同的proposal数目，计算IoU在0.5到1之间Recall。

数据集方面，作者在PASCAL VOC07和ImagNet Detection dataset上面做了测试。
这里又有不少图，这里只贴一张AP的，其他请参考原论文咯。

还是直接上结论

  • MCG， EdgeBox，SelectiveSearch, Rigor和Geodesic在不同proposal数目下表现都不错
  • 如果只限制小于1000的proposal，MCG,endres和CPMC效果最好
  • 如果一开始没有较好地定位好候选框的位置，随着IoU标准严格，recall会下降比较快的包括了Bing, Rahtu, Objectness和Edgeboxes。其中Bing下降尤为明显。
  • 在AR这个标准下，MCG表现稳定；Endres和Edgeboxes在较少proposal时候表现比较好，当允许有较多的proposal时候，Rigor和SelectiveSearch的表现会比其他要好。
  • PASCAL和ImageNet上，各个OP方法都是比较相似的，这说明了这些OP方法的泛化性能都不错。

各种OP方法在实际做detection任务时候的效果

这里作者在OP之后接上了两种在detection上很出名的detector来进行测试，一个是文献[54]的LM-LLDA（一个DPM变种），另外一个自然是R-CNN了，值得注意的是，这两个detector的作者都是rbg。。。真大神也。。。
这里用了各种OP方法提取了1k个proposal，之后作比较。
也是直接给作者结论：

  • 如果OP方法定位越准确，那么对分类器帮助会越大，因为定位越准确，分类器返回的分数会越高：
  • 在LM-LLDA和R-CNN下，使得mAP最高的前5个OP方法都是MCG,SeletiveSearch,EdgeBoxes,Rigor和Geodesic。
    分数一览如下图。
  • 通过分析，作者发现AR和mAP有着很强的相关性：
  • 作者用AR作为指导去tuning EdgeBoxes的参数，然后取得了更好的mAP（提高1.7个点）

全文的总结和讨论

总结：

  1. 对于repeatability这个标准，目前的OP方法效果都一般。可能通过对噪声和扰动更加鲁棒的特征能够提高OP方法的repeatablilty。但是repeatability低不代表最后mAP就低，比如SelectiveSearch，所以最后还是看要应用场景。
  2. 如果OP方法定位越准确，那么对分类器帮助会越大。所以对于OP方法来说，IoU为0.5的recall不是一个好的标准。高recall但是定位不准确，会伤害到最后的mAP
  3. MCG,SeletiveSearch,EdgeBoxes,Rigor和Geodesic是目前表现最好的5个方法，其中速度以EdgeBoxes和Geodesic为优。
  4. 目前的OP方法在VOC07和ImageNet的表现都差不多，说明它们都有着不错的泛化性能。

讨论：

  1. 如果计算能力上去了，OP还有用吗？作者认为如果运算性能允许的话，滑动窗口加上CNN等强分类器会有着更好的效果。
  2. 作者观察到在目前OP中使用的特征（比如object boundary和superpixel），不会在分类器中使用；然后OP方法中除了MultiBox之外就没有其他OP有使用CNN特征。作者期待会有工作能够结合下这两者的优势。
  3. 最后，作者对做了三点猜测：之后top down可能会在OP中起到更加重要的作用；以后OP和detector的联系会更加紧密；OP生成的segmentation mask会起到更加重要的作用。
凌风探梅
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Image Roi Proposal , Object Proposals( 翻译成什么好 )
taneijia的专栏
05-25 3192
Image Roi Proposal , Object Proposals( 翻译成什么好 )标签（空格分隔）： vision物体检测的套路还是需要先得到一些Roi，然后判断这些Roi中是什么物体。 为了防止有漏网之鱼，所以，一般在一幅图中会有上千个Roi。Object Proposals有影响力的算法当然是Selective Search。但是这个领域进步很快， 从GoP的测试来看，目前Rec
Faster R-CNN Towards Real-Time Object Detection With Region Proposal Networks
08-06
论文：Faster R-CNN Towards Real-Time Object Detection With Region Proposal Networks
What makes for effective detection proposals? 论文解析
weixin_34067102的博客
12-03 183
1 介绍（INTRODUCTION) 本文主要对最近的 proposal 检测方法做一个总结和评价。主要是下面这些方法。  2 Detection Proposal 方法（DETECTION PROPOSAL METHODS） 作者将 Detection Proposal 分为两类，grouping method （将图片分为碎片，最后聚合）和 window scoring method （对分成...
Object Proposal（OP）综述
郭云飞的专栏
12-07 1万+
目标检测（object detection），要求模型不仅能判断一幅输入图像中包含哪类目标，还得框出目标的具体位置（bounding box）。 为了实现上述要求，传统的方法是利用滑动窗口（Sliding Window）的方式，用不同尺度（scale）、比例（aspect ratio）的窗口在图像上滑动，穷举出所有可能位置上的子图像块。然后再将这些子图像块输入到目标识别（object recog
What makes for effective detection proposals?
女王の专属领地
01-04 687
Papers J. Hosang, R. Benenson, P. Dollár, and B. Schiele. What makes for effective detection proposals? arXiv:1502.05082, 2015. arXiv @ARTICLE{Hosang2015arXiv, author = {J. Hosang and R. Bene
Object Detection in 20 Years A Survey目标检测综述论文组会汇报
最新发布
11-16
Object Detection in 20 Years: A Survey综述：目标检测二十年 在过去的二十年中，目标检测技术经历了从traditional detector到DL-based detector的演进。该综述论文对目标检测领域的发展历程进行了全面的回顾，从...
Faster R-CNN Towards Real-Time Object Detection with Region Proposal
10-14
Faster R-CNN全称为“快速区域卷积神经网络”，其核心思想是在R-CNN（Region-based Convolutional Neural Network）的基础上进行了重大改进，引入了区域提案网络（Region Proposal Network，RPN）。RPN能够同时预测...
Faster R-CNN: Towards Real-Time Object Detection with Region
04-06
Faster R-CNN的核心创新在于引入了区域提议网络（Region Proposal Network，RPN），它与检测网络共享全图像卷积特征，从而几乎免费地生成高质量的区域提议。 Faster R-CNN的前驱工作，如SPPnet和Fast R-CNN，虽然...
object detection 论文总结.pdf
09-13
《物体检测论文总结》 物体检测是计算机视觉领域的一个核心任务，它要求系统不仅能识别图像中的物体，还需要准确地定位其位置。R-CNN（Regions with Convolutional Neural Network Features）是这一领域的里程碑式...
Edge Boxes Locating Object Proposals from Edges
10-06
Edge Boxes Locating Object Proposals from Edges当前效果最好的object proposal方法
个人学习笔记-计算机视觉篇-Faster R-CNN中的RPN（Region Proposal Network）
01-07
关于Faster R-CNN中的RPN网络 参考文献及资料： https://blog.csdn.net/lanran2/article/details/54376126 https://blog.csdn.net/qq_35451572/article/details/80095628 https://blog.csdn.net/u014586602/article/details/92796317 http://arxiv.org/abs/1506.01497 RPN网络是一个小型的卷积网络，作用是标定出疑似识别目标的框体交由后续处理。 参考Faster R-CNN论文中的原图（图一）
（C-RPN）Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking(CVPR2019)-附件资源
03-05
（C-RPN）Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking(CVPR2019)-附件资源
文献笔记《What makes for effective detection proposals?》
wy的点滴
02-17 683
查看原文：http://www.wyblog.cn/2017/02/17/%e6%96%87%e7%8c%ae%e7%ac%94%e8%ae%b0%e3%80%8awhat-makes-for-effective-detection-proposals%e3%80%8b/Abstract 这是一篇关于object detection的综述性文章，其一共列举了12种region proposal的
What makes for Effective detection proposals?论文阅读笔记
mw_mustwin的博客
10-20 978
What makes forEffective detection proposala?（2016.PAMI） Jan Hosang,Rodrigo Benenson, Piotr Doll_ar, and Bernt Schiele 文章有参考这个网址的部分内容：http://blog.csdn.net/baobei0112/article/details/47950963 一、摘要
《Edge Boxes: Locating Object Proposals from Edges》读后感~
热门推荐
love模式识别
09-22 3万+
《Edge Boxes: Locating Object Proposals from Edges》是ECCV2014的一篇关于目标检测的一篇文章，作者是来自于微软研究院的Piotr等人，属于大中牛范畴。本文并没有涉及到“机器学习”，其采用的是纯图像的方法，这点让我大感意外，因为很多提取proposals的文献，例如BING等，都是基于学习理论的方法。此外，本文的许多内容，甚至数学公式，都是基于作者的直觉直接建立，可以说，牛的一腿。。。。。
(zhuan) awesome-object-proposals
a1424262219的博客
02-28 301
awesome-object-proposals A curated list of object proposals resources for object detection. This Blog From this link:https://github.com/caocuong0306/awesome-object-proposals ...
Generating Object Proposals
necrazy的专栏
12-31 2719
Generating Object Proposals 22DEC This is a followup post to A Seismic Shift in Object Detection. In the earlier post I discussed the resurgence of segmentation for object detection, in th
Oriented Object Proposals
cv_family_z的博客
12-01 2278
ICCV 2015 关于候选区域提取的文献。 Oriented Object Proposals 简写 OOP算法 本文提出的提取算法的三个优势： 1）可以提取不同旋转角度的物体 2）本文的OOP算法得到更好的框，框的更准更小些 3）我们的候选区域个数更小些2 Related Work 以前候选区域提取算法主要可以分为两类： 1）Window scoring methods 滑
faster r-cnn: towards real-time object detection with region proposal networks
06-28
### 回答1： Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。Faster R-CNN在提高检测精度的同时，也显著提高了检测速度。 ### 回答2： 在计算机视觉领域中，目标检测一直是热门研究的方向之一。近年来，基于深度学习的目标检测方法已经取得了显著的进展，并且在许多实际应用中得到了广泛的应用。其中，Faster R-CNN 是一种基于区域建议网络（Region Proposal Networks，RPN）的目标检测方法，在检测准确率和速度之间取得了很好的平衡，能够实现实时目标检测。 Faster R-CNN 的基本框架由两个模块组成：区域建议网络（RPN）和检测模块。RPN 主要负责生成候选目标框，而检测模块则利用这些候选框完成目标检测任务。具体来说，RPN 首先在原始图像上以多个尺度的滑动窗口为基础，使用卷积网络获取特征图。然后，在特征图上应用一个小型网络来预测每个位置是否存在目标，以及每个位置的目标边界框的坐标偏移量。最终，RPN 根据预测得分和位置偏移量来选择一部分具有潜在对象的区域，然后将这些区域作为候选框送入检测模块。 检测模块的主要任务是使用候选框来检测图像中的目标类别和位置。具体来说，该模块首先通过将每个候选框映射回原始图像并使用 RoI Pooling 算法来获取固定大小的特征向量。然后，使用全连接神经网络对这些特征向量进行分类和回归，以获得每个框的目标类别和精确位置。 相比于传统的目标检测方法，Faster R-CNN 具有以下优点：首先，通过使用 RPN 可以自动生成候选框，避免了手动设计和选择的过程；其次，通过共享卷积网络可以大大减少计算量，提高效率；最后，Faster R-CNN 在准确率和速度之间取得了很好的平衡，可以实现实时目标检测。 总之，Faster R-CNN 是一种高效、准确的目标检测方法，是深度学习在计算机视觉领域中的重要应用之一。在未来，随着计算机视觉技术的进一步发展，Faster R-CNN 这类基于深度学习的目标检测方法将会得到更广泛的应用。 ### 回答3： Faster R-CNN是一种结合了深度学习和传统目标检测算法的新型目标检测方法，旨在提高目标检测速度和准确率。Faster R-CNN采用了Region Proposal Network（RPN）来生成候选区域，并通过R-CNN网络对候选区域进行分类和定位。 RPN是一种全卷积神经网络，用于在图像中生成潜在的候选区域。RPN通常在卷积特征图上滑动，对每个位置预测k个候选区域和其对应的置信度得分。这样，对于输入图像，在不同大小和宽高比的Anchor上预测候选框，可以在计算上更有效率。 R-CNN网络利用卷积特征图作为输入，对RPN生成的候选区域进行分类和精确定位。与以前的目标检测方法相比，Faster R-CNN使用了共享卷积特征，使得整个检测网络可以端到端地进行训练和优化，缩短了训练时间，同时也更便于理解和改进。 Faster R-CNN不仅具有较高的准确性，还具有较快的检测速度。在各种基准测试中，Faster R-CNN与其他目标检测算法相比，都取得了优异的性能表现。总之，Faster R-CNN将目标检测引入了一个新的阶段，为实时目标检测提供了一个良好的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值