Grid RCNN学习笔记

最新推荐文章于 2024-05-25 09:47:13 发布
最新推荐文章于 2024-05-25 09:47:13 发布
阅读量469 收藏 3
点赞数
分类专栏： Object Detection 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39512995/article/details/110649396
版权

Grid R-CNN

论文链接
代码链接1
代码链接2
CVPR2018
商汤

Abstract

  • 本文提出了一种基于网格引导定位的目标检测算法Grid R-CNN
  • Grid R-CNN获取空间信息并且利用全卷积结构的位置敏感性
    • Different from the traditional regression based methods, the Grid R-CNN captures the spatial information explicitly and enjoys the position sensitive property of fully convolutional architecture.
  • Grid R-CNN可以做到高质量的目标定位，相比Fast R-CNN，在IOU=0.8时涨了4.1%AP，在IoU=0.9时涨了10%AP

Introduction

  • 之前的R-CNN系列的目标检测算法都是使用bounding box回归来进行目标定位的，回归分支通常被设计为几个全连接层
  • 与基于回归的方法（将特征图输入到全连接层）相比，Grid R-CNN将bounding box划分成网格，并且通过全卷积网络来预测网格点的位置（如图1b，当指定位置一定数量的网格点已知时，相应的边界框就确定了），由于全卷积结构的位置敏感性，Grid R-CNN保持了明确的空间信息并且可以做到像素级的定位

在这里插入图片描述

  • 在图1b中，毛的右上角点位于目标的外部，并且它在图像中的周围区域仅包含背景，为了克服这个问题，本文设计了多点监督公式（multi-point supervision formulation），以3*3的网格为例，可以通过中上角点的坐标来校准右上角点的y轴坐标，网格点的设计可以有效较少整体偏差
  • 为了充分利用网格中点的相关性，本文提出了一种信息融合方法，对每一个网格点的特征图由相邻点的特征图融合得到，来自相关网格点的补充信息使预测更精确。

Related Works

  • 基于两阶段的检测器

Grid R-CNN

  • 图2为Grid R-CNN的网络结构，相较于Faster R-CNN，只更改了回归分支

在这里插入图片描述

Grid Guided Localization

在这里插入图片描述

  • 设计了 N ∗ N N*N N∗N的网格，比如图1b中是 3 ∗ 3 3*3 3∗3的网格，网格点分别是四个角点，四条边的中点和中心点
  • 14 ∗ 14 14*14 14∗14的RoI Align之后是八个 3 ∗ 3 3*3 3∗3卷积核的扩张卷积层，然后两个反卷积层将分辨率扩大到 56 ∗ 56 56*56 56∗56，输出 N ∗ N N*N N∗N的热图，对每个热图上的每个像素进行sigmoid操作生成概率图，并且每个热图对应一个监督图，其中交叉形状的5个像素被标记为目标网格点的真实位置，使用二元交叉熵损失进行优化。
  • 推理过程中，我们使用置信度最高的像素计算原始图像上对应位置作为网格点。

在这里插入图片描述

  • 热图中的点 （ H x , H y ） （H_x,H_y） （Hx​,Hy​）通过下面的公式映射到原始图片中的点 ( I x , I y ) (I_x,I_y) (Ix​,Iy​):
    • ( P x , P y ) (P_x,P_y) (Px​,Py​)是提议框（proposal）在输入图像上的左上角坐标， w p 和 h p w_p和h_p wp​和hp​是proposal的宽和高， w o 和 h o w_o和h_o wo​和ho​是输出热图的宽和高

在这里插入图片描述

( H x , H y ) (H_x,H_y) (Hx​,Hy​) （ I x , I y ） （I_x,I_y） （Ix​,Iy​）
( 0 , 0 ) (0,0) (0,0) ( P x , P y ) (P_x,P_y) (Px​,Py​)
( w o , 0 ) (w_o,0) (wo​,0) ( P x + w p , P y ) (P_x+w_p,P_y) (Px​+wp​,Py​)
( 0 , h o ) (0,h_o) (0,ho​) ( P x , P y + h p ) (P_x,P_y+h_p) (Px​,Py​+hp​)
( w o , h o ) (w_o,h_o) (wo​,ho​) ( P x + w p , P y + h p ) (P_x+w_p,P_y+h_p) (Px​+wp​,Py​+hp​)
  • 然后用预测的网格点确定预测框的四个边界 B = ( x l , y u , x r , y b ) B = (x_l, y_u, x_r, y_b) B=(xl​,yu​,xr​,yb​), g j g_j gj​表示第 j j j个网格点的 ( x j , y j ) (x_j,y_j) (xj​,yj​)并用 p j p_j pj​表示其概率， E i E_i Ei​是位于第 i i i条边上的网格点的集合，即 j ∈ E i j\in E_i j∈Ei​ 如果 g j g_j gj​在边界框的第 i i i条边上，下面的公式是用 g g g的集合来计算 B B B：
    • 以 y u y_u yu​(上边界)为例，是三个上方网格点（上边界框上的网格点）的概率加权平均值

在这里插入图片描述

Grid Points Feature Fusion

在这里插入图片描述

  • 网格点具有内部空间相关性，他们的位置可以互相校准，以减少整体偏差
  • 提取每个特征图上的网格点的局部特征用于融合操作
  • 为了区分不同点的特征图，使用 N ∗ N N*N N∗N组卷积核为它们单独提取特征(从最后的特征图中)，并给它们相应网格点的中间监督。因此，每个特征图都与某个网格点有特定的关系，我们将对应于第 i i i个点的特征图表示为 F i F_i Fi​(即每一个卷积核对应一个网格点)

在这里插入图片描述

  • 对于每个网格点， L 1 L_1 L1​距离为1（单位网格长度）的点为源点（source points），有助于融合。将第一个网格点的源点定义为 S i S_i Si​,对于 S i S_i Si​中的第 j j j个源点， F j F_j Fj​经过三个连续的5*5卷积进行处理，该过程表示为 T j → i T_{j \rightarrow i} Tj→i​，然后用 F i F_i Fi​融合所有源点的特征（简单的相加）得到融合特征图 F i ′ F^{'}_i Fi′​（公式3），如图3a所示

在这里插入图片描述

  • 然后通过卷积操作 T j → i + T^{+}_{j \rightarrow i} Tj→i+​进行二级融合，得到的特征图 F ′ ′ F^{''} F′′用于输出最终网格点位置预测的热图，二级融合能够实现距离为2的信息传递，如图3b所示

Extended Region Mapping

在这里插入图片描述

  • 网格预测模块输出具有固定空间大小的热图，由于是全卷积的网络，热图自然地可以对应在原图上的proposal，但是proposal可能无法覆盖整个目标，如图4所示，白框代表提议框proposal，本文将特征图的表示区域扩展到白色虚线框，以提高绿色真实框的覆盖率，实验证明，简单的扩大proposal不会带来任何好处，反而会损害小目标的检测精度，为了解决这个问题，通过扩展区域映射的方式来修改输出热图和原始图像中区域之间的关系，当获得proposal时，RoI特征仍然从特征图上的相应区域获得，但是输出热图的表示区域重新定义为原表示区域的两倍，以便在大多数情况下覆盖所有网格点，扩展区域映射被公式化为公式1的修改

在这里插入图片描述

可以变形为下式：可以理解为在原式的基础上添加了修正项

在这里插入图片描述

H x , H y H_x,H_y Hx​,Hy​ （ I x ′ , I y ′ ） （I^{'}_x,I^{'}_y） （Ix′​,Iy′​）
( 0 , 0 ) (0,0) (0,0) ( P x − w p 2 , P y − h p 2 ) (P_x-\frac{w_p}{2},P_y-\frac{h_p}{2}) (Px​−2wp​​,Py​−2hp​​)
( w o , 0 ) (w_o,0) (wo​,0) ( P x + 3 w p 2 , P y − h p 2 ) (P_x+\frac{3w_p}{2},P_y-\frac{h_p}{2}) (Px​+23wp​​,Py​−2hp​​)
( 0 , h o ) (0,h_o) (0,ho​) ( P x − w p 2 , P y + 3 h p 2 ) (P_x-\frac{w_p}{2},P_y+\frac{3h_p}{2}) (Px​−2wp​​,Py​+23hp​​)
( w o , h o ) (w_o,h_o) (wo​,ho​) ( P x + 3 w p 2 , P y + 3 h p 2 ) (P_x+\frac{3w_p}{2},P_y+\frac{3h_p}{2}) (Px​+23wp​​,Py​+23hp​​)

Implementation Details

  • 使用ResNet50和ResNet101作为backBone（不使用FPN）
  • 用RPN网络来获取region proposal，anchor包括5个尺度，三种比例
  • RPN训练采样256个anchor，正负样本区分阈值分别为0.7和0.3
  • 分类分支中，与Groundtruth的IoU大于0.5的RoI被视为正样本
  • 在基于Faster-RCNN的模型中每张图片采样128个RoI，在基于FPN的模型中每张图片采样512个RoI
  • 均采用RoI Align，分类分支池化的大小为7x7，网格分支为14x14
  • 推理阶段，RPN生成300/1000个RoI（Faster-RCNN/FPN）,先进入分类分支进行处理生成类别分数，然后进行阈值为0.5的NMS，最后选取得分最高的125个RoI输入网格分支，最最后再进行一次阈值为0.5的NMS

Experiments

  • Multi-point Supervision
    • 网格点个数对检测准确性的影响
    • 2points是左上角和右下角
    • 都没有使用特征融合
    • 随着网格点的增加，精度也在提高

在这里插入图片描述

  • Grid Points Feature Fusion
    • 特征融合对检测准确性的影响
    • bi-directional fusion是双向融合（姿态估计、欧阳万里）
    • first order feature fusion是一级融合
    • second order feature fusion是二级融合

在这里插入图片描述

  • Extended Region Mapping
    • 对比直接放大proposal和扩展区域映射

在这里插入图片描述

  • Comparison with State-of-the-art Methods

    • 和最先进的方法比较

    • 在Pascal VOC上和R-FCN、FPN对比，如表4
      在这里插入图片描述

    • 在COCO（验证集）上和其他方法的对比，如表5

在这里插入图片描述

  • 在COCO（test-dev）上和其他方法的比较，如表6

    • 结合缩放（SNIP）和级联（cascade RCNN）方法还有提升空间

在这里插入图片描述

  • Accuracy in Different IoU Criteria
  • 图5显示了基于FPN的Grid R-CNN和baseline FPN之间的比较，具有相同的ResNet-50作为backbone，IoU阈值从0.5到0.9。网格R-CNN在更高的IoU阈值(大于0.7)下优于回归。
  • 阈值0.5网格分支可能会稍微影响分类分支的性能。

在这里插入图片描述

  • Varying Degrees of Improvement in Different Categories
  • 对矩形更友好，对圆形表现较差

png" alt=“image-20201202111801696” style=“zoom: 50%;” />

  • Varying Degrees of Improvement in Different Categories
  • 对矩形更友好，对圆形表现较差

在这里插入图片描述
参考博客

_liuzt
关注
专栏目录
论文阅读：Grid R-CNN
Kivee的博客
01-30 918
Grid R-CNN 文章   CornerNet是one-stage的基于关键点的detector，那么可以不可以在two-stage上用上类似的方法呢？Grid R-CNN就是这样的方法。和普通的two-stage的第二步对RoI进行回归不一样，该方法直接利用RoI feature对物体的Grid（多个关键点）进行proposal的位置修正。   和CornerNet一样，本文也发现了很...
PV-RCNN学习笔记
xyq1212的博客
07-09 2682
本文提出了一个基于LiDAR点云进行3D目标识别的框架PV-RCNN。系统体系结构图如下： 该框架融合了voxel-based和point-based的优点进行特征学习，提出了一个双阶段的体系结构，分别用voxel CNN生成目标提议并对目标提议进行优化。在优化的过程中，本文将整个点云抽象为一组关键点，再用关键点的特征增强提议，丰富提议的上下文信息，得到更精确的预测结果。 本文最精彩的地方是关键点的获取，这样既能达到优化提议的目的，又能节省计算和内存资源。此外本文在关键点特征融合和提议优化步骤都使用了多尺
Grid rcnn
liguandong
03-17 663
Grid rcnn Abstract: the grid rcnn captures the spatial information explicitly and enjoys the position sensitive property of fully convolutional architecture. Instead of using only two independent po...
Grid R-CNN
weixin_43489950的博客
03-19 516
Grid R-CNN Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为...
Grid R-CNN理解
？？？的博客
12-15 8448
Grid R-CNN Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为通过全卷积网络来实现目标定位框的精确修正。借助卷积层生成的heatmap来确定初始的网格点，并通过这些网格点确定定位框的四条边。之所以做出这样的改变，作者阐述全卷积网络对位置更加具有敏感性，能够更好的实现更...
推荐文章：Grid R-CNN —— 强大的实例分割框架
最新发布
gitblog_00063的博客
05-25 318
推荐文章：Grid R-CNN —— 强大的实例分割框架 Grid-R-CNN项目地址:https://gitcode.com/gh_mirrors/gr/Grid-R-CNN 1、项目介绍 Grid R-CNN 是一个基于 mmdetection 框架的深度学习项目，它在 2019 年的 CVPR 大会上首次发表，并后续进行了更新。该项目旨在解决复杂的实例分割任务，特别是在处理多尺度和不规则形...
Grid R-CNN 算法笔记
AI之路
07-09 2674
论文：Grid R-CNN 论文链接：https://arxiv.org/abs/1811.12030 代码链接：https://github.com/STVIR/Grid-R-CNN 代码链接2：https://github.com/open-mmlab/mmdetection 这篇目标检测论文发表在CVPR2019，整体上是将two-stage类型的目标检测算法中的位置回归支路用基于关键点检测...
RCNN、SPPnet、Fast-RCNN 论文学习笔记
sinat_34022298的博客
08-25 992
——R-CNN、Fast-Rcnn、Fast-Rcnn是目标检测的一系列顶会论文，自己也看了好久，才慢慢有所感悟，这里做个记载。看论文原版还是最好的选择，但由于论文都是英文，且有大量引用前人已有的思想，对于小白来说，直接看论文并不友善，可以选择网上已有的论文解读，大致了解思想，然后有针对性的阅读论文原版，可能会事半功倍。 给出RGB大神博客，基本论文还有源码、slides都可以找到： 【RGB...
A-Fast-RCNN 论文笔记
Jesse_Mx的博客
06-09 9118
论文地址：A-Fast-RCNN Caffe代码：adversarial-frcnn前言 近期为了学术汇报，阅读了这篇CVPR 2017论文，该论文将对抗学习的思路应用在目标检测中，通过对抗网络生成遮挡和变形图片样本来训练检测网络，取得了一定的效果。现将论文大意做了翻译和理解，不一定完全对。摘要 如何使得物体检测器能够应对被遮挡或者变形的图像？我们目前的解决方法是使用数据驱动的策略——收集一个足够
目标检测系列学习笔记（RCNN系列+YOLO系列）
ZhangQQer的博客
04-09 7367
小白一枚 记录学习点滴里面的“？”是我还没有太看懂的部分1.      RCNNarticle:  Rich feature hierarchiesfor accurate object detection and semantic segmentation（2014）                27th IEEE Conference onComputer Vision and Patter...
Grid-R-CNN
03-15
网格R-CNN 在CVPR 2019上发布的更新Grid R-CNN的基于mmdetection的实现。原始文件在，更新的详细信息可以在此看到。 安装 该项目基于mmdetection对象检测框架。 要求 Python 3.5+（ ） PyTorch 1.0+或PyTorch-每晚 CUDA 9.0+ GCC 4.9+ 使用mmdetection安装Grid R-CNN 一种。 创建一个conda虚拟环境并激活它。 然后安装Cython。 conda create -n open-mmlab python=3.7 -y source activate open-mmlab conda install cython b。 按照稳定或每晚安装PyTorch和Torchvision。 C。 克隆此存储库。 d。 编译cuda扩展。 ./compile.sh e。 设置mmde
Grid R-CNN 翻译
qq_20481015的博客
12-19 973
Grid RCNN时候商汤的最新力作 摘要 本文提出了一种新的目标检测框架Grid R-CNN，该框架采用网格引导的定位机制进行精确的目标检测。与传统的基于回归的方法不同，网格R-CNN对空间信息进行了显式捕获，具有全卷积架构的位置敏感特性。为了减少特定点预测不准确的影响，我们设计了一个多点监督公式来编码更多的线索，而不是仅仅使用两个独立的点。为了充分利用网格中各点之间的相关性，提出了一种两阶...
论文阅读笔记三十七：Grid R-CNN（CVPR2018）
weixin_34378045的博客
12-23 265
论文源址：https://arxiv.org/abs/1811.12030 开源代码：未公开 摘要 本文提出了目标检测网络Grid R-CNN，其基于网格定位机制实现准确的目标检测。传统方法主要基于回归操作，Grid R-CNN则捕捉详细的空间信息，同时具有全卷积结构中对位置信息的敏感性。【Instead of using only two independent ...
Grid RCNN 阅读笔记
Vivianyzw的博客
12-26 887
1. 摘要 Abstract 与传统回归不同，Grid RCNN利用全卷积结构来抓取了空间信息。设计一种多点，而非只用两个独立的点，的监督形式来编码更多的线索，为了减少具体的点的不准确推测的影响。为了充分发挥网格点的相关性的优势， 我们采用了两阶段融合侧率来融合邻网格点的特征图。网格限制的定位方法很容易拓展到不同的检测框架中。Grid RCNN是高质量的物体检测策略。和Res50的Faster ...
paper reading：《Grid R-CNN》
yuansiming0920的博客
08-21 363
CVPR 2018 论文链接： https://arxiv.org/pdf/1811.12030.pdf Grid R-CNN是商汤科技最早发表于arxiv的一篇目标检测的论文，对于Faster R-CNN架构的目标坐标回归部分进行了替换，取得了更加精确的定位精度。 该文所有作者均来自于商汤科技，Grid用来修饰R-CNN，意即将目标检测中位置定位转化为目标区域网格点的定位。 文章目录1 Background and Motivation2 Related Work3 Advantages/Contrib.
目标检测论文阅读：Grid R-CNN算法笔记
qq_43631268的博客
01-02 573
这篇文章提出了一种非常新颖的、利用网格引导定位机制的目标检测框架，命名为Grid R-CNN。不同于传统的基于回归的方法，Grid R-CNN会使用位置敏感的全卷积结构来捕获空间信息。本文用多个网格点共同监督的方式来减少只用两个点定位（bbox的左上角和右下角）带来的预测误差影响。本文提出了一种两阶段的信息融合方式，将相邻网格点的特征图进行融合来充分利用网格点的相关信息。这种网格引导定位的方法可以很方便地嵌入到不同的主流目标检测模型中。实验证明，Grid R-CNN可以实现高质量的目标定位。
Grid RCNN论文理解
donkey_1993的博客
01-11 5665
Grid RCNN 商汤11月份提出的论文。 论文下载地址：https://arxiv.org/abs/1811.12030 论文代码复现： 论文创新点： 1. 使用了全卷积网络来代替目标检测里面的全连接层。 2. 加入了融合机制使得标注框更加的精确。   算法整体流程： 算法的整体流程经过RPN找到候选区域，然后通过感兴趣区域得到特征图。将特征图传到 全卷积网络层里面 输出最...
「Computer Vision」Note on Grid R-CNN
小锋子Shawn
11-30 659
QQ Group: 428014259 Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/84667027 [1] Grid R-CNN 2018 [paper]
《Grid R-CNN》论文笔记
m_buddy的博客
08-03 319
代码地址：Grid-R-CNN 1. 概述 导读：这篇文章在Faster RCNN（带FPN）的基础上采用grid guided定位机制提出了新的检测方法Grid RCNN。与传统的回归方法相比，Grid RCNN显式捕获空间信息（像素级，使得定位更准确），并使用了卷积网络对位置敏感的特性。在检测框的表达上，传统方法使用两个独立的点（左上与右下），而这篇文章中的方法使用多点组合的形式组合更多的信...
ExtJS学习：基础Grid详解
"这篇学习笔记主要介绍了EXTJS中的基本Grid组件，强调了EXTJS在UI方面的优势和缺点，并与jQuery进行了对比。接着，通过实例展示了如何创建一个包含多个列的ColumnModel，解释了各列配置参数的含义。" EXTJS是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值