【文章阅读】Fast Point R-CNN

最新推荐文章于 2024-06-17 09:33:00 发布
最新推荐文章于 2024-06-17 09:33:00 发布
阅读量3.9k 收藏 13
点赞数 2
分类专栏： 深度学习-点云基础网路-分类 Project
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40805392/article/details/100821225
版权

Brief

 果然二维检测上的RCNN系列会出现在三维检测上，CVPR19年上有一篇Point RCNN的paper。在上个月（19年8月8日）这篇文章就被放上了arixv上，由港中文的贾佳亚教授实验室完成，下面看看具体是怎么做的。

Abstruct

  • 该方法既采用了voxel表达，又结合了原始点云的形式，是一个two-stage的方法。
  • 第一个阶段采用voxel作为数据的输入，只采用几层轻量级的卷积操作，生成少量的高质量的初始预测。这里的初始坐标会和对应的每个点的卷积后的特征采用注意力机制进行结合。这样可以保留上下文信息和准确的坐标位置。
  • 第二阶段在上述的混合后的特征上做进一步的优化和预测。
  • 该方法在KITTI数据集的3D和BEV都取得了最好的效果。

1. Introduction

  • 近几年一些受用于CNN而发展起来的关于3D检测的paper，包括什么joint3D，multi-view等等，目前采用的数据包括有仅仅只使用lidar或者结合其他数据一起进行检测的方法。
  • 一些challenge

（1）High sparseness使得直接对点云采用CNN是很不合理的。
（2）体素化的方法又会使得复杂程度急剧上升

  • contribution

（1）一个统一架构，快速高效的检测结构
（2）在第一阶段中注意力机制的使用，可以使得每个点的聚合了其位置和上下文信息。
（3）同时运用了voxel和raw data的内容，其中在第一阶段的voxel可以粗提取出位置信息，第二阶段使用raw data更加细节的获得信息。
（4）速度可以达到15FPS

2. Related Work

3D Data Representation

  • view_based
  • voxel_based
  • point_based

3D Object Detection

  • Joint Image-LiDAR Detection

结合除了lidar之外的信息做检测，MV3D,AVOD等方法。F-pointnet，joint3D

  • LiDAR-based Detection

现在做直接的输入特征提取都是这么操作的：先体格划分成很多小格子，然后通过pointnet对每一个格子中的数据进行特征子提取，然后再利用2DCNN进行回归等等。仅仅是写博客的我看过的文章就包括了有Voxelnet,SECOND,pointpillars,pointRCNN，MEGV（这是一篇在nuscence数据集上做的文章）。这里作者还给出了一篇新的paper IPOD,其实采用系列的文章中pointRCNN，IPOD和fast point rcnn都是贾佳亚老师团队的工作。

3. Our Method

network overview:
在这里插入图片描述

两阶段，第一个阶段是体格化，采用VoxelRPN网络产生少量的预测，然后采用注意力机制通过结合坐标信息和提取到的特征信息获得每个预测框的信息.第二阶段是采用RefinerNet进行进一步优化。

3.1Motivation

  • 第一阶段大致的内容就是提取Lidar数据的特征信息，无非也就是投影和体素的方式提取。这里提取一点voxel的问题，记录一下：

However, the discretization process inevitably introduces quantization artifacts with resolution decreasing to the number of bins in the voxel map.
也就是voxel的size大小会决定像素分辨率。

文章还指出了一点，卷积操作和下采样会弱化一下定位的精确位置。最后作者总结了一点，基于点的输入是比较合理的，so do i

  • 作者自己的方法。

3.2. VoxelRPN

VoxelRPN是一个产生3D检测框的回归器，这是一个一阶段的目标检测器。

Input Representation

  • 作者同样先分 ( L , W , H ) (L, W, H) (L,W,H)的点云输入，每个格子的size是 ( v l , v w , v h ) (vl, vw, vh) (vl,vw,vh),也就是一共会有的网格为： ( L / v l , W / v w , V / v h ) (L/vl, W/vw, V /vh) (L/vl,W/vw,V/vh)
  • 每个voxel中的点云数量设置的是6（好少），然后通过 8 − c h a n n e l M L P l a y e r 8-channel MLP layer 8−channelMLPlayer对这个voxel进行特征提取，提取之后就得到的紧凑的表达，因此可以利用强大的CNN去后续的工作。

Network Structure

  • 在[40,23]中，Z轴信息会很快的在卷积中消失，所以使得检测只能在BEV上进行。
  • 作者发现，3D卷积在保持3D结构上很具有高效性，因此作者的结构是结合了2D和3D卷积，达到了比PIXOR的速度和更好的精度。
  • backbone network：如下图所示：
    下图表达的形式是 ( k x , k y , k z ) ( c h n ) / ( s x , s y , s z ) . (kx, ky, kz)(chn)/(sx,sy,sz). (kx,ky,kz)(chn)/(sx,sy,sz).
    在这里插入图片描述

如上图所示，（1）第一个block采用的是3D卷积，采用较小数量的filters作用是减小时间压力.
（2）比较重要的一点是，**作者没有采用kernel size 为3，stride 为2的方式来对Z轴信心进行下采样，我们对Z轴的在3D卷积时把kernel size设置成的2但是没有padding的形式。**这样可以更好的保留信息。
这一点我是这样理解的，因为本来Z轴的维度就不大，因此不采用stride的方式去压缩，而是采用的是直接设置一个比较小的kernel size但是却不用padding不全的方式。
（3）和二维检测的多尺度检测不一样的是，3D检测中同类的物体一般都是具有一样的size的，因此我们局的HyperNet结构是更加具有合理性的。
（4）我们对block2,3，4进行上采样得到集合了高级语义特征和底层定位特征的信息。预定义的anchors大小被定义成特定的大小和角度在这个合成的feature map上面。接下来就是直接在这个feature map 上进行对每个anchor的回归和定位。

3.3 RefinerNet

尽管VoxelNet有着不错的性能，但是我们的进一步优化采取的方法是结合原始的点云数据进行更细的回归，采用的是一个pointnet的变种网络，F-pointnet是采用pointnet对3DBbox回归的先驱。

Box Feature

  • 作者采用在Voxel_RPN网络中生成的box里面的所有点来生成Box_feature.和F-pointnet 里面使用的两个独立的网络不同的是我们的输入不仅仅是输入的坐标，也包括了从voxelRPN中提取出的特征

前面通过voxelRPN得到了一张待优化的感受野图像，后面的PointNet则是应用于作用于每一个点提取相应的结合了上下文信息的特征。

  • 进一步工作是首先投影到BEV，接着所有在BEV下Bbox周围的点都会被当做输入。对于在点 p ( x p , y p ) p(x_p,y_p) p(xp​,yp​)和 f e a t u r e − m a p ( L F , W F , C F ) feature-map(L_F,W_F,C_F) feature−map(LF​,WF​,CF​)，我们定义在p点的定位特征为： ( ⌊ x p L F L ⌋ , ⌊ y p W F W ⌋ ) \left(\left\lfloor\frac{x_{p} L_{F}}{L}\right\rfloor,\left\lfloor\frac{y_{p} W_{F}}{W}\right\rfloor\right) (⌊Lxp​LF​​⌋,⌊Wyp​WF​​⌋),这样就得到了每一个点的定位信息。
  • 在给定proposals的情况下，通过旋转和平移对proposals周围0.3米内的点坐标进行裁剪和规范化。如图3所示，我们定义输入的点的维度为128维。
    在这里插入图片描述
    补充几个要素点，如何把二维的voxelnet提取到的特征和3D点云特征结合的:

（1）特征有：

1 Convolutional feature maps from VoxelRPN capture local geometric structure
2.PointNet is applied to map each point

（2）对于RPN的proposals，首先投影到bev视图上，然后在rpn的proposals周围的点都算进输入的点云中去。
（3）计算在rpn的fea-map上的点位：利用类似二维一样的方法去定位
（4）组合特征，如下图，也就是上图的前一个部分，上面部分是原始的点云和经过pointnet提取的特征。下面部分是经过voxelnet提取到的特征，疑惑点是–这个n怎么确定，是每一个proposals中点的个数，但是每一个对应到的proposals应该是不固定值的，要怎么做呢？
（5）需要提出的是作者的定位工作是为了取得每一个点在fea-map中的特征，我们假设这里proposals的点是n个，那么最后作者在fea-map的点的特征也就是n×C了。
（6）所以关键问题在，在pytorch中表示点云是（batchsize,proposals_num,n_points，dim)这里的proposals个数和每个proposals中点也是不固定的。要如何选择这个数值上的大小呢？

在这里插入图片描述

Network Structure

  • 采用注意力机制去结合这两部分的特征。具体结构如上图所示。

Fusion moudle的结构是进行特征融合，对应的高纬坐标信息首先经过cancatnate，然后再乘上这个卷积得到的注意力特征。
（2）最后的MLP层是回归层，进一步对Bbox进行回归。

  • 如下图所示，在计算回归目标时，给定建议框，通过旋转和平移将ground-truth框和点云规范化：
    在这里插入图片描述

这个操作按照特定的顺序组织ground-truth框corners，可以降低旋转引起的转角顺序的不确定性。实验结果表明，该方法具有一定的优越性

Network Training

两步法：

  • 训练VoxelRPN

（1）在BEV中，如果一个锚点对gt真实度IoU大于0.6，则认为该锚点为正样本。如果一个锚点的IoU值在所有ground-truth框中都小于0.45，则该锚点被认为是负的。训练的Loss为联合LOSS，包括回归和分类。
（2）分类LOSS采用的是交叉熵，由于positive和negatative的不平衡性，作者的参数设置的比较大。
（3）回归loss和voxelnet一样的：
在这里插入图片描述

  • RefinerNet

（1）仅仅是在positive的基础上进行训练

Experiments

在这里插入图片描述

Little_sky_jty
关注
专栏目录
点云从入门到精通技术详解100篇-基于改进 Mask R-CNN 的地铁隧道点云图像渗水检测
getusushu的博客
10-10 277
2021 年，李子杰等人提出了一种基于 Mask R-CNN 的螺母表面缺陷分割方法。启发，基于 PointNet 提出的直接对于点云处理的新模型，它优化了 PointNet 在处。等人总结并全面地描述了从 R-CNN 到 Mask R-CNN 的过程及对比细节。Puad 等人利用 Open CV 能够通过计算机视觉检测的特点，进行手势识别，对手的不。许勇等人提出了一种基于 Mask R-CNN 的汉字笔画分割提取方法。随后的 1998 年，他的团队构建的 LeNet-5 让 CNN 开始得到广泛关注。
论文速读系列四：Cross-Modality、CT3D、Pyramid R-CNN、VoTr、AFDetV2
Clichong
12-10 723
**为什么需要second stage**？根据之前工作的经验，second stage可以提升网络性能，原因有以下2个：1）原始点特征可以恢复损失的位置信息；2）分类和边界框回归是通过2个独立的分支完成的，会带来不对齐的问题。 但是，近来有工作证明，就算没有原始点云信息做second stage的refine，依靠voxel特征依然可以取得不错的性能。通过大量的实验，**作者发现first stage已经足以得到精确的bbox定位，second stage的贡献主要源于分类得分的提高，这一发现也和分类-定
Fast Point R-CNN | 一个或许跟PointRCNN和Fast RCNN都没啥关系的点云目标检测网络
李敏乐的博客
12-19 1121
【导读】这是一篇来自ICCV2019的论文，由港中文的贾佳亚教授实验室完成。虽然名字很接近，但是Fast Point R-CNN不仅跟Fast R-CNN没有任何关系，它跟Point R-CNN也没太大关系，找前景点，做精细回归思想相近。三者唯一的共同点就是它们三个都是two-stage网络，但是网络结构完全不同。 如果要强行归类的话，Fast Point R-CNN应该算是VoxelNet...
【论文阅读】【3d目标检测】FAST pointrcnn
hgj1h的博客
03-29 696
论文标题：Fast Point R-CNN 还是记录。。。 这篇文章后面与voxelnet进行了fps对比，究竟快在哪里，究竟为啥ap提升了？是本文想要探讨的东西。 文章的思路很简单，分为两个阶段 第一阶段 考虑到pointnet类似的方法需要对于整个点云进行编码，计算量极大，而一些由2d生成proposals的方法又极度依赖于2d目标检测的效果，所以作者采用了voxel的形式进行VFE编码。不了解VFE的朋友可以先看看voxelnet 作者发现每个格子中采用6个点，依赖8channel的mlp可以提取到
探索未来驾驶的科技力：PointRCNN - 点云与图像融合的3D对象检测器
最新发布
gitblog_00013的博客
06-17 283
探索未来驾驶的科技力：PointRCNN - 点云与图像融合的3D对象检测器 项目地址:https://gitcode.com/JenningsL/PointRCNN 在人工智能和自动驾驶领域的前沿，我们有幸发现一个令人振奋的开源项目——PointRCNN。这个项目提供了一种新颖的3D对象检测方法，它利用点云数据（通过激光雷达捕捉）和RGB图像信息，为无人驾驶车辆和智能交通系统提供精确的环境感知。...
点云拼接_Fast Point RCNN | 一个跟Point RCNN和Fast RCNN都没啥关系的点云目标检测网络...
weixin_29188759的博客
01-05 144
【导读】这是一篇来自ICCV2019的论文，由港中文的贾佳亚教授实验室完成。虽然名字很接近，但是Fast Point R-CNN不仅跟Fast R-CNN没有任何关系，它跟Point R-CNN也没太大关系，找前景点，做精细回归思想相似。三者唯一的相似点就是它们三个都是two-stage网络。如果要强行归类的话，Fast Point R-CNN应该算是VoxelNet一派的。这一点从网络...
KeyPoint of《Fast R-CNN》
学习专栏，期待交流与成长
02-09 1402
Introduction （1）目标检测比目标识别更复杂。其原因是，检测需要将目标精准的定位，这其中包括了候选框的生成，以及将粗定位的候选框refined为精准的位置。 （2）本文使用了端到端的训练方法。该方法jointly learns to classify object proposals and refine there spatial location （3）R-CNN速度慢 （...
【文章阅读】 PI-RCNN
有所为，有所成长
01-06 1501
Brief 一篇AAAI2020的工作，目前KITTI官网的效果是排在第31名。（19年11月16日） 不得不说就19年而言，实验效果并不能说是非常的出重，但是从侧面说明该方法的新颖程度应该是有的。 其次这是浙大和阿里合作的一篇文章，通讯是Xiaofei He也表明了牛组的能力。 overview: Abstruct 该方法是一个二维语义分割和三维Lidar检测fusion的方法，作者的主要...
运行Fast R-CNN的代码
taneijia的专栏
05-25 1万+
运行Fast R-CNN的代码标签（空格分隔）： vision FR-CNN是Ross Girshick的新作，从文章来看FR-CNN比R-CNN和SPPNet都快很多。当然R-CNN和SPPNet也都是Girshick的作品，FR-CNN的正确率不仅超越Girshick自己的嫡出，也超过了DPM等其他方法。 FR-CNN正如文章所说的是一个简单，并且Elegant的框架。和那些Pipeline的
Stereo R-CNN 三维目标检测
qq_27339501的博客
06-04 1114
Stereo R-CNN based 3D Object Detection for Autonomous Driving 文章目录本文思想贡献网络架构图3D Box Estimation 本文思想 通过充分利用立体图像中的稀疏、密集、语义和几何信息，提出了一种用于自动驾驶的称为立体声R-CNN的三维物体检测方法。它扩展了立体输入的快速R-CNN，以同时检测和关联左右图像中的对象。 在立体区域提议网络（RPN）之后添加额外的分支来预测稀疏的关键点、视点和对象尺寸，并结合二维左右框来计算粗略的三维对象边界框。
Colaboratory平台+Mask R-CNN进行模型训练和实例分割
lemon_tttea的博客
12-15 745
通过样本增强和格式转换，我们现在终于可以开始进行模型训练和调试了，这里也没什么好说的，就是用经典的Mask R-CNN模型，网上有很多地方可以下载，但是最好去github进行下载，我会在文章最后附上下载地址，包括模型文件和权重文件。 由于下载的模型文件和Colaboratory平台的tensorflow2.0+的版本是有一定冲突的，为了减少工作量（不敢搞model文件，改了可能就改不回来了），我们在正式训练之前，需要在Colaboratory重新设置一下环境，环境参数如下。（在训练之前把Colaborat.
深度学习 + 论文详解： Fast R-CNN 原理与优势
Kuo_Jun_Lin的博客
06-05 1761
论文链接fast R-CNN: https://arxiv.org/pdf/1504.08083.pdf
PointRCNN：三维目标检测
热门推荐
冯子材的博客
07-22 2万+
PointRCNN是CVPR2019录用的一篇三维目标检测论文。 摘要 本文中提出了一种PointRCNN用于原始点云的3D目标检测，整个框架包括两个阶段：第一阶段使用自下而上的3D提案产生，第二阶段用于在规范坐标中修改提案获得最终的检测结果。Stage-1阶段子网络不是从RGB图像或者将点云投影到鸟类视图或者体素中，而是通过将整个场景的点云分割为前景点和背景点，以自下而上的方式直接从点云生成少量...
【深度学习】 三大经典识别算法 R-CNN、Fast R-CNN、Faster R-CNN概述简介
qq_40314507的博客
09-25 3916
1.R-CNN (14年）   1.首先用selective search的方法选出许多候选框；   2.对于每一个候选框分别执行卷积网络的操作，提取特征；   3.把卷积做好的特征放到svm分类器和Bbox reg的回归器。   缺点：   1.候选框没有共享卷积神经网络，不同的框要构造不同的神经网络（因为卷积层虽然不要求图片大小，但是全连接层有要求）。   2.分类用svm做，...
【代码阅读】PointRCNN网络可视化，代码详解
麒麒哈尔的博客
06-04 2万+
aaaPointRCNNPointRCNN网络结构 PointRCNN PointRCNN是CVPR2019中3D目标检测的文章。3D目标检测是一个计算机视觉中比较新的任务，其他的文献综述可以参考我的另外一篇博客3D Object Detection 3D目标检测综述 该文章使用two-stage方式，利用PointNet++作为主干网络，先完成segmentation任务，判断每个三维点的lab...
目标检测之 Fast R-CNN
鹊踏枝-码农的专栏
07-13 2万+
论文地址：Fast R-CNN代码地址：rbgirshick/fast-rcnnFast R-CNN是在R-CNN的基础上进行的改进，大致框架是一致的。总体而言，Fast R-CNN相对于R-CNN而言，主要提出了三个改进策略：1. 提出了RoIPooling，避免了对提取的region proposals进行缩放到224x224，然后经过pre-trained CNN进行检测的步骤，加速了整个网...
一文览尽基于激光雷达点云（lidar）的目标检测方法
3D视觉工坊
11-26 6728
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达本文来源：计算机视觉之路，作者：山涧一壶酒，编辑：智车科技/导读/上周文章：自动驾驶中的激光雷达点云如何做特征表达，将基于Lid...
论文阅读-PointRCNN+python3.5实现
有所为，有所成长
08-21 5798
Brief  发表在CVPR2019，还挺新的一篇文章，前面看了一些，大部分都是在候选区域如何得到上做文章，就比如第一个voxelnet直接暴力的把所有的anchor 都弄一下，不够优美，不过这一篇最大的贡献在VFE结构，但是说下去也就是个pointnet,都是线性全连接层嘛。其二是F-pointNet。这是一篇18年CVPR的文章，就比较有想法的结合了2D去先找个视锥出来，再通过这个区域实例分割...
Fast RCNN论文总结
晓峰博客笔记
04-26 1164
1. Region Proposal (候选区域)方法比传统的滑动窗口方法获取的质量要更高。比较常用的Region Proposal方法有：SelectiveSearch(SS，选择性搜索)、Edge Boxes（EB）。2. Fast RCNN 目标检测流程第一步，将这个完整的图片经过若干卷积层与max pooling层，得到一个feature map。第二步，用selective searc...
Pointcnn-tensorflow教程
03-07
我可以回答这个问题。PointCNN-TensorFlow 是一个用于点云分类和分割的深度学习框架，它基于 TensorFlow 实现。如果您想学习如何使用 PointCNN-TensorFlow，可以查看相关的教程和文档。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值