Region proposals 是什么？如何提取？

最新推荐文章于 2022-06-21 17:04:44 发布
最新推荐文章于 2022-06-21 17:04:44 发布
阅读量2w 收藏 252
点赞数 54
分类专栏： region proposals 文章标签： region proposal Selective Search Object Recognition
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42419002/article/details/88820891
版权

文章目录

Region proposals 是什么？如何提取？

1. 如何直观的理解 region proposals ？

在这里插入图片描述在这里插入图片描述

  • 上图中每一个黄色的框框住的内容都是一个 region propoal ，方方正正的。
  • region propoal 通常是使用一种叫 selective search 的方法来确定的。selective search 可以简单的理解为对图片中的每一个像素进行聚类：相邻的相同颜色的像素是一个类别，相邻的相同纹理的像素是一个类别。一个又一个的像素点聚集起来之后就是就变成了上图中一个又一个的块状斑。每一个块状斑就极有可能是我们需要检测的目标。
  • 斑的正外接矩形就是我们需要的 region propoal 。
  • 块状斑的特点：斑与斑之间的差异较大，斑内的成分与成分之间的差异小。就是低耦合高内聚的意思。

2. R-CNN 中的 region proposals 起什么作用？

  • 为后续的CNN网络提供输入。

2.1. R-CNN 实现检测目标的三个步骤？

R-CNN 的网络结构

  1. 第一步：使用传统方法从原始图片中提取2k个形状大小不统一的 region proposals
  2. 第二步：将每一个 region proposal 转变成相同大小（227*227），再使用CNN网络提取特征，输出特征向量。
  3. 第三步：使用SVM分类提取出的特征向量（包含背景类别）。

2.2. region proposals 是如何提取的？

2.2.1. selective search （提取 region proposals 的方法）的三个特点
  1. Capture All Scales：能通捕获不同尺寸的额目标。因为 selective search 方式是通过分层算法对每一个像素进行处理后一步步得到更大的目标，所以只要像素合并的算法足够合理，理论上说，selective search 就能区分开每一个我们想要区分的物体。
  2. Diversificatio：多元化。即结合多种方法（颜色，纹理……）来分析各个 region 之间的相似度，保证最后生成的 region proposals 的质量更高。
  3. Fast to Compute：算法比较快。
2.2.2. region proposals 最终的每一个 region 是如何合并变大的？
  • 第一步，通过 Efficient Graph-Based Image Segmentation 算法生成最初的小 region。
    论文链接：Efficient Graph-Based Image Segmentation，Cited by 5808
  • 第二步，使用贪心算法将这些 region 迭代合并。
    • 计算当前每一个 region 与相邻 region 之间的相似度。
    • 合并相邻且最相似的 region，这样就可以将小 region 变成一个更大一点的 region（整幅图中的 region 数目就会变少）。
    • 重复上面的两个步骤，直到合并完所有的 region，最后只剩下一个 region（整幅图），贪心算法计算完成。
  • 说明：贪心算法计算过程中的每一步都可以做作为最终的 region proposal ，具体取哪一步值之后的 region proposals 是由相似度阈值（参数）来确定的。
    region proposals 的生成过程
2.2.3. region proposals 最初的每一个 region 是如何生成的？
  1. 待写
2.2.4. 合并相似的 region 时 ，相似度是怎样定义和度量的？

  • scolour(ri, rj) 使用颜色来度量 region 之间的相似度 ：每一个 region 的每一种颜色使用25个值来表示（HOG特征）。如果一个 region 有三个颜色通道，那么就需要使用75（3*25）个值来描述这个 region 的颜色信息。

    • 每个 region 用颜色直方图表示为（n=75）：
      在这里插入图片描述
    • 两个 region 之间的相似度使用直方图间的交集的累加表示：==不理解为什么使用最小和表示，而不是使用两者之间的差值呢？==计算C1和C2的HOG，计算两个HOG的重叠面积即为相似度。
      在这里插入图片描述
    • 两个 region 合并之后的颜色直方图和大小分别是：
      在这里插入图片描述
      在这里插入图片描述

  • ** stexture(ri, rj) 使用纹理来度量 region 之间的相似度**：每一个 region 的每一种颜色使用使用8个方向的信息来表示，每个方向的信息是使用10个数据来表示的。如果一个 region 有三个颜色通道，那么就需要使用240（3*8*10）个数据来描述这个 region 的信息。

    • 这里的信息提取使用的是SIFT（局部特征描述子）[后续补充相关点]（）
    • 每个 region 用纹理直方图表示为（n=240）：
      在这里插入图片描述
    • 两个 region 之间的相似度：
      在这里插入图片描述

  • ssize(ri, rj) 鼓励合并较小的两个的 region：

    • 在尺度上，不是应该合并相似尺度的 region，而是应该合并较小的两个region，所以当两个 region 的尺寸都很小时，应该被鼓励合并，此时度量值应该较大。size(im）表示整幅图的尺寸大小 。
    • 两个 region 因尺寸原因需要被合并的程度（越小越该合并，值越大）：
      在这里插入图片描述

  • sfill(ri, rj) 度量两个 region 在外形上的匹配程度：应该优先合并两个 region 的外界矩形的空余部分较少的情况。

    • size（BiBj）：表示两个两个 region 合并起来之后的图形的外接矩形的大小。
    • 两个 region 外接矩形的空白越少，就越应该合并，这个度量值就应该越大。
      在这里插入图片描述
    • 同样条件下，下图中的BC将优先于BA先合并。因为BC组合之后更像一个整体，因为组合之后不会之后的外接矩形没有太多的空白。
      在这里插入图片描述

  • 上面的4个值越大，表示两个 region 之间的颜色越相似，纹理越相似，尺寸越小，形状越匹配。

  • 最后会选取这些度量方法中的部分来使用。参数a设置为1时，就表示启用了这种度量方法。
    在这里插入图片描述

必看相关论文

  1. R-CNN：Rich feature hierarchies for accurate object detection and semantic segmentation,2014,Cited by 7848
  2. Selective Search for Object Recognition, 2013,Cited by 2781
  3. Efficient Graph-Based Image Segmentation,2004, Cited by 5808
轮子去哪儿了
关注
  • 54
    点赞
  • 踩
  • 252
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
edge算法提取proposals
12-01
使用详情见 本人博客【深度学习模型训练】使用自己的数据训练 Fast r-cnn Faster r-cnn YOLOv3 或是文件里的 DOREAD.txt
【目标检测】概念理解：region proposal、bounding box、anchor box、ground truth、IoU、NMS、RoI Pooling
kentocho的博客
11-14 5987
本文主要对region proposal、anchor box、bounding box、bounding box regression、ground truth、IoU、NMS、RoI Pooling 这些名字进行解释，随后附上RCNN、Fast RCNN、Faster RCNN的实现步骤。
Faster RCNN原理篇（三）——区域候选网络RPN（Region Proposal Network）的学习、理解
Yale-曼陀罗
12-17 1万+
区域候选网络RPN（Region Proposal Network）的学习、理解Anchors详解`generate_anchors.py`文件中generate_anchors函数源码解读Anchor的产生过程： RPN（Region Proposal Network）： 它是首先在Faster RCNN中提出的，其 核心功能： 1. 得到用来预测的feature map。 具体而言：图像在输入网络后，依次经过一系列卷积+ReLU得到了51×39×25651×39×25651×39×256维的featu
目标检测中的anchorproposals、Region Proposal什么意思？
qq_39324954的博客
06-21 3611
1、 proposal2、Region Proposal Region Proposal：指候选区域 目标检测的目的在于：对图像中的物体进行较精确的定位，并识别出图像中包含物体的类别。一张图像中能够检测出物体所在的区域并且给出物体类别概率 定位的方式*：给出一个包含该物体的框。...
目标检测中Regional Proposal到底是什么，RPN和Region Proposal、Proposals三者联系
qq_45359288的博客
08-12 7615
目标检测是指在一张图像中能够检测出物体所在的区域并且给出物体类别概率，其核心可以分为定位与识别两大模块。 定位是指我们在目标图像中锁定物体所在的区域，然后送入分类网络完成物体的识别。 Regional Proposal就是一种常用的定位方法 候选区域—Region Proposal Region Proposal是一个区域，bounding box就是这个区域的4条边，而这4条边是用一个4维向量来表示的。 ...
目标检测中region proposal的作用
热门推荐
baidu_26454813的博客
04-08 1万+
作者：YJHMITWEB链接：https://www.zhihu.com/question/265345106/answer/294410307来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。首先我们明确一个定义，当前主流的Object Detection框架分为1 stage和2 stage，而2 stage多出来的这个stage就是Regional Proposa...
region proposal
shuijinghua的博客
06-03 9067
参考网址：https://blog.csdn.net/qq_27825451/article/details/88843333 针对一张图片，需要获得的输出有： （1) 边界框（bounding boxes)列表，即一幅图像有多少个候选框（region proposal),比如有2000个； (2) 每个边界框的类别标签，比如候选框里面是猫？狗？等等 (3) 每个边界框和类别标签的概率 ...
候选区域（Region proposals )
csdn_xmj的博客
05-20 3132
来源：Coursera吴恩达深度学习课程 在阅读目标检测的文献时，我们可能会看到候选区域（region proposals），这在计算机视觉领域是非常有影响力的概念。 回忆一下之前的滑动窗法，需要对所有窗口进行检测器，这个算法的其中缺点是，它在显然没有任何对象的区域浪费时间。 论文：[Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic
目标检测中region proposal的作用？
胭脂草的ABC博客
06-03 1811
目标检测中region proposal的作用？ ssd,yolo训练网络的时候为什么要用anchor box，图片不是有标ground truth box 吗？为什么不能直接用这个训练呢？ 先更正下提问者的描述，yolo本身不含有anchor机制。 以下回答适合对目标检测中anchor的作用和机制比较了解的读者阅读。 首先我们明确一个定义，当前主流的Object Detection框架分为1 stage和2 stage，而2 stage多出来的这个stage就是Regional Propos.
[讨论] 深度学习Region Proposal方法
Fourier_Legend的博客
05-25 2315
Region Proposal 方法看的比较头大，现在在此总结一下，欢迎大家批评指正 RCNN 出自论文 ： Rich feature hierarchies for accurate object detection and semantic segmentation 链接 侯选框的选择 选取了Selective Search的方式对每张图提取了约2000个大小不一候选区域，为了使不同尺寸的候选区域可以喂给固定输入尺寸的网络提取特征，对这些候选区域都缩放到227，为避免缩放操作对识别检测精度的.
关于目标检测中的候选区域Region Proposal的理解
Jeremy_lf的博客
03-31 3067
目标检测指的是在一张图像中能够检测出物体所在的区域并且给出物体类别概率，其核心可以分为定位与识别两大模块。定位指的是我们在目标图像中锁定物体所在的区域，然后送入分类网络完成物体的识别。 图像定位常用方法具体介绍如下： 滑窗法—sliding window 滑窗法是指用不同大小的窗口在整个图像上进行滑动，然后对每个窗口区域进行检测，复杂度极大，效率低下，此外还必须考虑到高宽比例不一致的情况，搜索变得...
codeLanka-Proposals
05-19
兰卡 Code Lanka是GDG斯里兰卡“为更好的社会编码”的倡议。 编码是一项技能。 一项使我们能够构建好事和坏事的技能。 你们中的许多人可能对使用技术解决问题有有趣的想法或解决方案。 我们为您提供平台和社区以进行孵化并实现它。 您可以提出此建议，提交您的补充内容，并向我们发送拉动请求以及您的想法。 或者，您也可以提交自己认为对斯里兰卡的开发人员和最终用户有利的应用程序。 为什么？ 我们正在做的是创建将改善斯里兰卡开发人员社区和社会的应用程序和其他资源。 我们的目标是创建，编码和开发应用程序和资源，以帮助改善斯里兰卡的开发人员社区和社会。 政策法规 尊重所有人，无一例外。 您是一名正在寻找项目的大学生吗？ 从下面的列表中选择一个项目，然后提出您的问题或想法的问题。 让我们知道您是否有任何有趣的补充。 贡献者 米利杜·萨诺伊（Milidu Sanoj） 帕米迪莎·伊马尔卡（Pa
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
02-01
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
selective search算法提取proposals
12-01
使用详情见 本人博客【深度学习模型训练】使用自己的数据训练 Fast r-cnn Faster r-cnn YOLOv3 或是文件里的 DOREAD.txt
个人学习笔记-计算机视觉篇-Faster R-CNN中的RPN（Region Proposal Network）
01-07
关于Faster R-CNN中的RPN网络 参考文献及资料： https://blog.csdn.net/lanran2/article/details/54376126 https://blog.csdn.net/qq_35451572/article/details/80095628 https://blog.csdn.net/u014586602/article/details/92796317 http://arxiv.org/abs/1506.01497 RPN网络是一个小型的卷积网络，作用是标定出疑似识别目标的框体交由后续处理。 参考Faster R-CNN论文中的原图（图一）
选择性搜索region proposal+CNN classification+NMS_USB-BBR优化边界框冗余问题
09-16
https://blog.csdn.net/weixin_40744915/article/details/80228611 选择性搜索region proposal+CNN classification+NMS_USB-BBR优化边界框冗余问题
fos-proposals:GSoC提案存档
05-01
FOS提案 表达您对开源的热爱！ 这个仓库成为为F REE和O笔小号乌尔斯河提议的存档。 由于是我本人参与的唯一此类程序，因此转储是按照这种方式组织的。 如果您有来自GSoC / KDE-Soc / any的建议，请随时发送PR。...
gsoc-proposals：每年针对选定SMVDU学生的GSoC提案
02-03
gsoc-proposals：每年针对选定SMVDU学生的GSoC提案
软2一月考勤表-20230917-075457.xlsx
最新发布
04-29
软2一月考勤表-20230917-075457.xlsx
proposals是什么意思 卷积神经网络中
07-16
### 回答1： 在卷积神经网络中，proposals是指可能包含目标物体的候选框。它是通过使用物体检测算法来生成的。具体而言，卷积神经网络会在输入图像上进行滑动窗口操作或使用region proposal方法来生成候选框。 滑动窗口操作是指将一个固定大小的窗口在图像上按固定的步长进行滑动，每个窗口都作为一个候选框进行检测。这样会生成大量的候选框，但效率较低。 相比之下，region proposal方法会通过使用一些启发式的规则来生成少量但更具代表性的候选框。这些规则可以基于滑动窗口操作的结果或是其他先验知识，例如物体的形状、尺度等。这样可以在减少计算量的同时，保证生成的候选框更有可能包含目标物体。 在卷积神经网络中，proposals扮演着重要的角色。它们是网络输出的一部分，用于确定图像中对象的位置和大小。通常，proposals会和网络的其他部分进行进一步的处理和调整，以最终得到更精确的目标物体检测结果。 总之，proposals在卷积神经网络中具有提供候选框的功能，用于检测目标物体的位置和尺度。它们是通过物体检测算法生成的，可以通过滑动窗口操作或region proposal方法获得。 ### 回答2： 在卷积神经网络（CNN）中，proposals（提议）是指网络根据输入图像中的特征提取出来的候选目标区域。CNN通常用于目标检测任务，在这种任务中，我们需要找到图像中可能包含感兴趣目标的区域。 在传统的目标检测算法中，需要通过滑动窗口的方式在图像中搜索所有可能的目标位置，这种方式计算量巨大且效率低下。而在使用CNN进行目标检测时，网络可以通过卷积层和池化层等操作，在图像上提取出特征图。根据这些特征图，CNN提供了一种更高效的方法来生成可能包含目标的候选框，这些候选框就是proposals。 proposals具有以下特点：它们是一组矩形框，每个矩形框表示一个图像区域，该区域有可能包含感兴趣目标。proposals的产生是基于CNN对输入图像进行卷积和特征提取，选择出具有潜在目标的候选区域。通常，这些候选区域会被输入到接下来的分类器中，以确定是否存在目标并进行进一步的定位。 在实际应用中，proposals可用于各种目标检测任务，如人脸检测、车辆检测等。通过CNN生成的proposals减少了搜索空间，提高了检测的效率和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值