Grid R-CNN

最新推荐文章于 2024-05-25 09:47:13 发布
最新推荐文章于 2024-05-25 09:47:13 发布
阅读量452 收藏 1
点赞数 1
分类专栏： 目标检测
原文链接：https://blog.csdn.net/qq_17272679/article/details/85011479
版权

Grid R-CNN

Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为通过全卷积网络来实现目标定位框的精确修正。借助卷积层生成的heatmap来确定初始的网格点，并通过这些网格点确定定位框的四条边。之所以做出这样的改变，作者阐述全卷积网络对位置更加具有敏感性，能够更好的实现更加精确的定位，文章中图一比较清楚的表示了这种改变。

文章对上述过程分为了三个部分进行讲解:

（1）Grid Guided Localization

这一部分主要讲解了怎样利用RoIAlign之后的特征图来生成相应的grid points，在faster R-CNN 中RoIAlign之后对其应用7×7的金字塔池化生成固定长度的特征向量，继而通过后续的全连接层实现相应proposal的分类和位置的回归修正。而在本论文中则通过全卷积网络来生成固定分辨率的heatmap。其结构如下图：对每个proposal相应区域的feature map通过14×14的RoIAlign生成分辨率为14×14的feature map，对生成的feature map进行连续的8个扩张卷积，卷积核大小为3×3，之后连接两个2×的反卷积，所以每个proposal生成分辨率为56×56的heatmap，并且每个heatmap经过sigmoid得到最终的输出。在训练中每张heatmap都有相应监督map，以5个十字交叉的像素作为label点，通过二值交叉进行优化，在检测中则选取每个heatmap中最大值点作为相应网格点。

由于所生成的网格点都在heatmap中，所以还要将这些点映射回原始图像中，具体的映射公式为

用下图表示更加清晰，上边大框表示输入图像，紫色框表示proposal，下边小框表示相应的heatmap，其中小框的黄色表示heatmap中最大值点(Hx,Hy)，紫色框中黄色点表示映射回输入图像的原始点(Ix,Iy)，黑点则是proposal的左上角坐标，通过上式可以看出是将heatmap中的坐标做了相应的缩放和平移。

通过上述过程即将N×N个点映射回了输入图像，那么由这些点怎样生成目标物体的坐标框呢，论文中的公式化描述为：

直观一些的表示如下图：以最上边的框边界yu为例，选择最上边的三个点计算其y坐标的加权和，即可得到相应上边界的坐标yu，权重为相应点的heatmap中的概率值。

（2）Grid Points Feature Fusion

但是这样只利用一个heatmap来生成相应的网格点，还存在问题，假如某个网格点在背景区域，那么该区域获得的信息是不足以精确定位目标物体边界的，如下图中左上角的蓝色点，对于这样的网格点就需要融合周围的网格点对应的heatmap来对其进行校正。

具体的融合方法如下图所示，以左上角的网格点为例，其对应的heatmap为Fi，和左上角单位距离的点称为源点，源点构成的集合设为Si，假设某个源点对应的heatmap为Fj，对Fj进行连续3次的卷积运算，卷积核大小为5×5，得到Fj'，然后将源点集合中所有源点对应的heatmap进行上述运算之后与Fi相加得到融合之后的Fi'，上述只是采用了单位距离的网格点，称为一阶融合，对所有点进行完一阶融合之后，再进行二阶融合，也即对目标点距离为两倍单位距离的点进行融合，如上图的右图所示。经过这样融合后的heatmap，再通过（1）部分的方法生成对应的边界框。从而提高边界框的定位精度。

（3）Extended Region Mapping

通过上述流程还不足以实现精确的对目标定位，因为有一些proposal覆盖区域比较小，其和groundtruth重合度较小，这使得在网给点的生成中难以对其进行有效的监督训练，如下图中初始生成的proposal即白色框和groundtruth标注框只有两个点重合。

很自然的可以想到能否通过直接扩大proposal来实现较大的重合呢？答案是否定的，如果增大proposal，那么单个proposal中会包含进较多的背景信息，同样不利于后续精确定位的进行。在这里作者通过改变heatmap和输入图像上点的映射关系来克服该问题，即还是利用同样大小的proposal来产生后续的heatmap，并选择出heatmap上相应的点，但是将该点映射回输入图像时，利用改进后的映射关系，如下图

化简一下可得：

观察上式可知是在原来的映射关系上添加了修正项，即当heatmap中选定的grid point左侧时，映射回输入图像会向左侧移动，在右侧时会向右侧移动，对于y坐标是同样的映射关系。通过映射的修正，即可将相应的heatmap的映射区域加以扩展，如上图中的虚线白框，这样既解决了proposal与groundtruth重合过少难以训练问题，又避免了扩大proposal带来的背景混入的问题。

（4）实验结果

上述过程即为通过FCN实现目标定位的过程，看一下论文结果：下图显示通过选取不同的网格点数所带来的实验效果，可见随着点数的增加效果有进一步的提升。

下图显示通过Grid Points Feature Fusion以及Extended Region Mapping所带来的实验结果的改变，可见两种改进方法的加入都带来了相应的提升。

下图很有意思，显示了不同IOU标准下faster R-CNN和Grid R-CNN的输出结果，可以清晰的看出IOU标准越高反而相对效果越好，作者解释这表示Grid R-CNN主要是通过提高定位框精度实现检测效果提升的，但对这里存疑，按照Grid R-CNN的实现流程应该在各个IOU标准上都有所提升才对，作者也没有指出在RPN部分用以区分正负样本的IOU阈值为多少，若阈值为0.7还能对下图的结果有所解释。

下图则展示了相对于其他检测框架的对比结果，效果还是比较明显的。

以上即为对Grid R-CNN的理解。

  •                     <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count">3</span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;1582594662_002&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/qq_17272679">
                <img src="https://profile.csdnimg.cn/4/D/1/3_qq_17272679" class="avatar_pic" username="qq_17272679">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/1x/6.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/qq_17272679" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">游离在代码上的灵魂</a></span>
                                        </div>
                <div class="text"><span>发布了6 篇原创文章</span> · <span>获赞 22</span> · <span>访问量 2万+</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=qq_17272679" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>
樨潮
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文阅读：Grid R-CNN
Kivee的博客
01-30 885
Grid R-CNN 文章   CornerNet是one-stage的基于关键点的detector，那么可以不可以在two-stage上用上类似的方法呢？Grid R-CNN就是这样的方法。和普通的two-stage的第二步对RoI进行回归不一样，该方法直接利用RoI feature对物体的Grid（多个关键点）进行proposal的位置修正。   和CornerNet一样，本文也发现了很...
Grid R-CNN 算法笔记
AI之路
07-09 2622
论文：Grid R-CNN 论文链接：https://arxiv.org/abs/1811.12030 代码链接：https://github.com/STVIR/Grid-R-CNN 代码链接2：https://github.com/open-mmlab/mmdetection 这篇目标检测论文发表在CVPR2019，整体上是将two-stage类型的目标检测算法中的位置回归支路用基于关键点检测...
Grid-R-CNN
03-15
网格R-CNN 在CVPR 2019上发布的更新Grid R-CNN的基于mmdetection的实现。原始文件在，更新的详细信息可以在此看到。 安装 该项目基于mmdetection对象检测框架。 要求 Python 3.5+（ ） PyTorch 1.0+或PyTorch-每晚 CUDA 9.0+ GCC 4.9+ 使用mmdetection安装Grid R-CNN 一种。 创建一个conda虚拟环境并激活它。 然后安装Cython。 conda create -n open-mmlab python=3.7 -y source activate open-mmlab conda install cython b。 按照稳定或每晚安装PyTorch和Torchvision。 C。 克隆此存储库。 d。 编译cuda扩展。 ./compile.sh e。 设置mmde
推荐文章：Grid R-CNN —— 强大的实例分割框架
最新发布
gitblog_00063的博客
05-25 279
推荐文章：Grid R-CNN —— 强大的实例分割框架 项目地址:https://gitcode.com/STVIR/Grid-R-CNN 1、项目介绍 Grid R-CNN 是一个基于 mmdetection 框架的深度学习项目，它在 2019 年的 CVPR 大会上首次发表，并后续进行了更新。该项目旨在解决复杂的实例分割任务，特别是在处理多尺度和不规则形状的目标时表现出色。原始论文可以在这里...
Grid rcnn
liguandong
03-17 634
Grid rcnn Abstract: the grid rcnn captures the spatial information explicitly and enjoys the position sensitive property of fully convolutional architecture. Instead of using only two independent po...
Grid R-CNN理解
？？？的博客
12-15 8297
Grid R-CNN Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为通过全卷积网络来实现目标定位框的精确修正。借助卷积层生成的heatmap来确定初始的网格点，并通过这些网格点确定定位框的四条边。之所以做出这样的改变，作者阐述全卷积网络对位置更加具有敏感性，能够更好的实现更...
Grid R-CNN 翻译
qq_20481015的博客
12-19 920
Grid RCNN时候商汤的最新力作 摘要 本文提出了一种新的目标检测框架Grid R-CNN，该框架采用网格引导的定位机制进行精确的目标检测。与传统的基于回归的方法不同，网格R-CNN对空间信息进行了显式捕获，具有全卷积架构的位置敏感特性。为了减少特定点预测不准确的影响，我们设计了一个多点监督公式来编码更多的线索，而不是仅仅使用两个独立的点。为了充分利用网格中各点之间的相关性，提出了一种两阶...
目标检测-20种常用深度学习算法论文、复现代码汇总.zip
03-29
14. **Grid R-CNN**：Grid R-CNN扩展了 Faster R-CNN，加入了细化分割和多尺度检测，提升了对复杂场景的理解。 15. **RepPoints**：RepPoints采用可变形的点集表示目标，增强了模型的表达能力。 16. **FCOS++**：...
Python-用于机器学习实验的图像增强
08-11
7. **实例分割**：除了普通的RGB图像，`imgaug`还支持实例分割图像（比如Mask R-CNN中的实例掩码），这对于物体检测和语义分割任务特别有用。 8. **可视化**：`imgaug`提供了一个`draw_grid`函数，可以用来可视化...
基于深度神经网络的机器人目标检测方法研究.pdf
08-13
在Grid R-CNN中，每个区域提案（ROI）的特征是从卷积神经网络（CNN）的特征映射中独立提取的，提高了特征的针对性和定位准确性。网格引导机制用于预测定位，取代了原来的偏差回归，通过全卷积网络生成的空间映射...
机器学习过程和场景
04-09
R语言的`tuneGrid`和`gridSearch`等函数可用于参数调优。 5. 模型评估：使用测试集评估模型的泛化能力，常用指标有准确率、精确率、召回率、F1分数、AUC等。R中的`ROCR`和` caret::confusionMatrix`等功能可以帮助...
Grid RCNN 阅读笔记
Vivianyzw的博客
12-26 853
1. 摘要 Abstract 与传统回归不同，Grid RCNN利用全卷积结构来抓取了空间信息。设计一种多点，而非只用两个独立的点，的监督形式来编码更多的线索，为了减少具体的点的不准确推测的影响。为了充分发挥网格点的相关性的优势， 我们采用了两阶段融合侧率来融合邻网格点的特征图。网格限制的定位方法很容易拓展到不同的检测框架中。Grid RCNN是高质量的物体检测策略。和Res50的Faster ...
「Computer Vision」Note on Grid R-CNN
小锋子Shawn
11-30 615
QQ Group: 428014259 Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/84667027 [1] Grid R-CNN 2018 [paper]
paper reading：《Grid R-CNN》
yuansiming0920的博客
08-21 335
CVPR 2018 论文链接： https://arxiv.org/pdf/1811.12030.pdf Grid R-CNN是商汤科技最早发表于arxiv的一篇目标检测的论文，对于Faster R-CNN架构的目标坐标回归部分进行了替换，取得了更加精确的定位精度。 该文所有作者均来自于商汤科技，Grid用来修饰R-CNN，意即将目标检测中位置定位转化为目标区域网格点的定位。 文章目录1 Background and Motivation2 Related Work3 Advantages/Contrib.
Grid R-CNN解读：商汤最新目标检测算法，定位精度超越Faster R-CNN
AI科技大本营
12-22 3096
作者 | 周强来源 | 我爱计算机视觉Grid R-CNN是商汤科技最新发表于arXiv的一篇目标检测的论文，对Faster R-CNN架构的目标坐标回归部分进行了替换，...
Grid RCNN学习笔记
_liuzt的博客
12-04 418
Grid R-CNN CVPR2018 商汤 Abstract 本文提出了一种基于网格引导定位的目标检测算法Grid R-CNN Grid R-CNN获取空间信息并且利用全卷积结构的位置敏感性 Different from the traditional regression based methods, the Grid R-CNN captures the spatial information explicitly and enjoys the position sensitive propert
目标检测论文阅读：Grid R-CNN算法笔记
qq_43631268的博客
01-02 496
这篇文章提出了一种非常新颖的、利用网格引导定位机制的目标检测框架，命名为Grid R-CNN。不同于传统的基于回归的方法，Grid R-CNN会使用位置敏感的全卷积结构来捕获空间信息。本文用多个网格点共同监督的方式来减少只用两个点定位（bbox的左上角和右下角）带来的预测误差影响。本文提出了一种两阶段的信息融合方式，将相邻网格点的特征图进行融合来充分利用网格点的相关信息。这种网格引导定位的方法可以很方便地嵌入到不同的主流目标检测模型中。实验证明，Grid R-CNN可以实现高质量的目标定位。
《Grid R-CNN》论文笔记
m_buddy的博客
08-03 294
代码地址：Grid-R-CNN 1. 概述 导读：这篇文章在Faster RCNN（带FPN）的基础上采用grid guided定位机制提出了新的检测方法Grid RCNN。与传统的回归方法相比，Grid RCNN显式捕获空间信息（像素级，使得定位更准确），并使用了卷积网络对位置敏感的特性。在检测框的表达上，传统方法使用两个独立的点（左上与右下），而这篇文章中的方法使用多点组合的形式组合更多的信...
Grid RCNN论文理解
donkey_1993的博客
01-11 5620
Grid RCNN 商汤11月份提出的论文。 论文下载地址：https://arxiv.org/abs/1811.12030 论文代码复现： 论文创新点： 1. 使用了全卷积网络来代替目标检测里面的全连接层。 2. 加入了融合机制使得标注框更加的精确。   算法整体流程： 算法的整体流程经过RPN找到候选区域，然后通过感兴趣区域得到特征图。将特征图传到 全卷积网络层里面 输出最...
Grid R-CNN的原理及优缺点
05-27
Grid R-CNN的原理是将图像划分为多个小格子，然后在每个小格子中进行目标检测和分割。具体地说，它首先将原始图像分成若干个小块，然后对每个小块进行特征提取，得到每个小块的特征向量。接下来，使用一个分类器来对每个小块进行分类，判断其中是否包含目标物体。如果包含目标物体，则再使用一个分割网络来对目标物体进行分割，得到其精确的边界框和掩码。 Grid R-CNN的优点是能够提高目标检测的精度和效率。由于将图像划分为多个小块进行处理，可以在不降低精度的情况下提高检测速度。此外，Grid R-CNN还能够在小目标和密集目标的情况下取得更好的效果。 Grid R-CNN的缺点是需要对图像进行网格化处理，这会导致一定的信息损失。此外，由于需要对每个小块进行分类和分割，需要更多的计算资源和时间。另外，如果网格划分不合理，会导致目标检测的误差增加。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值