PV-RCNN论文和逐代码解析（一）

已于 2023-12-12 07:32:52 修改
阅读量8.7k 收藏 90
点赞数 31
分类专栏： 3D感知论文分析与代码实战 文章标签： 视觉检测 人工智能 自动驾驶 深度学习
于 2022-03-11 11:21:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41366026/article/details/123349889
版权
PV-RCNN结合了voxel-based的高效编码和point-based的定位精度，通过3D CNN与set abstraction操作，实现3D物体检测。文章详细解析了网络结构，包括voxelization、MeanVFE、VoxelBackBone8x等，并提供了代码注释链接。
摘要由CSDN通过智能技术生成

1、前言

        当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。

        grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。

        point-based的方法主要由PointNet和他的变形作为特征提取器来直接的从原始的点云数据中提取基于点的特征，主要有PointRCNN，STD, F-PointNet。

        一般来说，基于grid-based的方法可以获得更好的计算效率，但是由于进行voxelize的量化操作，不可避免的导致信息丢失，使得网络的定位精度下降；而point-based的方法因为通过Set Abstraction操作拥有可变的感受野，使特征拥有良好的定位信息，然而基于Point-based的方法不可避免的会带来更大的计算量。

        因此作者在这里想到了将两种方法的优势结合起来&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NNNNNathan
关注
  • 31
    点赞
  • 踩
  • 90
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
专栏目录
订阅专栏
SECOND点云检测代码详解
NNNNNathan的博客
03-07 1万+
1、前言 SECOND也是一片基于Voxel按anchor-based的点云检测方法，网络的整体结构和实现大部分与原先VoxelNet相近，同时在VoxelNet的基础上改进了中间层的3D卷积，采用稀疏卷积来完成，提高了训练的效率和网络推理的速度，同时解决了VoxelNet中角度预测中，因为物体完全反向和产生很大loss的情况；同时，SECOND还提出了GT_Aug的点云数据增强。没有了解过VoxelNet的小伙伴可以查看我的这篇文章： VoxelNet点云检测详解_NNNNNathan...
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6266
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-CSDN博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
PV-RCNN：Point-based与Voexl-based共同成就的高性能3D目标检测网络
weixin_41271939的博客
04-22 3269
现阶段的3D目标检测方法主要可以分为两大类，一个是采用pointnet及其变种直接对点云进行处理，即point-based。一种是将点云数据转化成规则的体素，通过三维卷积进行特征提取，即voxel-based。两种方法没有绝对意义上的孰优孰劣，各有各自不同的特点。得益于稀疏卷积，voxel-based方法的显存占用与计算量大大减少，但是体素化带来的信息损失仍然不可避免。而point-based方法虽然利用了完整的，也是最原始的点云信息，但是这类方法都会通过SA操作来提取局部空间信息，SA操作中的近邻搜索过于
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题
Callme_TeacherPi
07-31 3943
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题 一、论文详解2、体素到关键点场景编码2.1、关键点抽样2.2、体素抽象3、VSA模块(体素集抽象模块)3.1、预测关键点权重4、提案细化的关键点到网格RoI特征抽象4.1、通过集合抽象进行RoI网格池化4.2、3D提案细化和置信度预测5、训练损失二、代码复现1、Copy代码2、安装一些功能包3、数据集的准备。......
点云 3D 目标检测 - SECOND（Sensors 2018）
77wpa的博客
12-29 2054
基于LiDAR或RGB-D的目标检测被用于从自动驾驶到机器人视觉的许多应用中。基于体素的3D卷积网络已被用于在处理点云LiDAR数据时增强信息的保留。然而，问题仍然存在，包括推理速度慢和方向估计性能低。因此，我们研究了一种用于此类网络的改进的稀疏卷积方法，该方法显著提高了训练和推理的速度。我们还引入了一种新的角度损失回归形式来提高方向估计性能，并引入了一个新的数据增强方法来提高收敛速度和性能。所提出的网络在KITTI 3D目标检测基准上产生最先进的结果，同时保持快速推断速度。
点云3D检测篇三：SECOND
最新发布
weixin_50206562的博客
07-23 1075
点云数据与传统的图像数据不同，具有较强的稀疏性，无法使用标准的卷积神经网络进行特征提取，如图2所示。同理，考虑到2D任务中如果只处理一部分像素，标准卷积的效果也不好，需要使用2D的稀松卷积，因此本小节就从2D稀疏卷积出发，介绍一下稀疏卷积的原理，大家可以自行将其拓展到3D稀疏卷积中去，其实就多了一个深度信息D。图 2 点云数据（左）和 稀疏图像（右）由上，本小节考虑一个简单的2D稀疏卷积问题来进行讲解。输入数据：​ 定义一个 3 通道的 5 × 5 图像。
Voxel-RCNN论文和逐代码解析
NNNNNathan的博客
03-18 6876
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 point-b...
PV-RCNN论文和逐代码解析（二）
NNNNNathan的博客
03-13 5259
第一阶段： 1、MeanVFE （voxel特征编码） 2、VoxelBackBone8x（3D CNN 提取voxel特征） 3、HeightCompression（高度方向Z轴堆叠） 5、BaseBEVBackbone（SECOND中的RPN层） 6、AnchorHeadSingle（anchor分类和回归头） 4、VoxelSetAbstraction（VSA模块，对不同voxel特征层完成SA） 第二阶段： 7、PointHeadSimple Predicted Keypoint..
PV-RCNN:聚氯乙烯
04-23
此PointVoxel-RCNN用于我们的CVPR 2020论文PointVoxel-RCNN用于从点云进行3D对象检测。 代码： 代码。 作者：石少帅，郭朝旭，李丽，王哲，石建平，王晓刚，李洪生。 抽象的 我们提出了一种新颖的，高性能的3D对象...
PV-RCNN预训练权重，作者文中的预训练权重。pvrcnn是一个两阶段检测算法
07-30
pvrcnn是一个两阶段检测算法。stage1采用常规的voxel-based的方法得到proposal。stage 2：refine。经过stage1得到了RoI, 刚刚的关键点特征提取得到了每个关键点的特征。然后可以进行refine了。还有一个Predicted Keypoint Weighting模块。它的作用主要是想降低不是前景点的关键点特征对refine阶段的影响。通过训练两层MPL来使得模型能够区分哪些是前景点，哪些是背景点，并对背景点赋予较小的权重。以gird point为球心，以某一设定值为半径画球，对包括在其中的关键点再次进行set abstraction操作，得到更高级的特征。这样做有一个好处就是，在画球的过程中，有可能将RoI之外的点包括进来，从而提供更丰富的语义信息，帮助模型更好的回归。这样重复6 * 6 * 6次，就能得到6 * 6 * 6个特征向量。
【论文解读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
lwk___123的博客
01-22 1538
我们提出了一种新的高性能3D对象检测框架，称为PointVoxel RCNN（PV-RCNN），用于从点云中精确检测3D对象。我们提出的方法深度集成了三维体素卷积神经网络（CNN）和基于PointNet的集合抽象，以学习更具判别力的点云特征。它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活感受野。具体而言，所提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景总结为一小组关键点，以节省后续计算并对代表性场景特征进行编码。
PV-RCNN
xinxiang7
02-08 745
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection Abstract PointVoxel-RCNN是一个新颖的,高表现的3D目标检测框架,从点云中检测3D目标. 我们的方法整合了voxel 3D CNN和基于PointNet的集抽象来学习更多的有鉴别行的点云特征.它充分利用了高效的学习,3D体素的CNN的高质量的proposals以及基于PointNet网络的灵活的感受野.该框架通过一个新的体素集抽象模块将三维场景与三维
【阅读笔记】PV-RCNN
敲碎键盘的博客
03-04 5902
目前在kitti数据集榜单第一名，收录在CVPR2020。与pointRCNN同作者。 1 简介 文章称该方法把point-based和voxel-based两种方法的优势结合起来，提高了3D目标检测的表现。基于体素的操作可以高效的编码多尺度特征表示并生成高质量3D提案框，基于点操作有可变的感受野故可以保留更精确的位置信息。 voxel-based（grid）优缺点：高效、但信息损失降低定位细粒度...
3D目标检测(点云+体素)——PV-RCNN
qq_44799766的博客
10-31 1688
PV-RCNN论文阅读及个人分析。
【3D目标检测】PV-RCNN
可乐大牛的博客
10-11 1205
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。PV-RCNN融合了点云特征提取中基于体素方法和基于点方法的思想，进一步提高检测的性能提出了一种voxel-to-keypoint的编码方法，该方法将一帧内的多尺度体素特征编码为一系列的关键点中。这些关键点不仅保留了准确的位置信息，还拥有丰富的全局信息，可以提高三维检测性能。提出了一种在proposal中使用的多尺度的RoI特征提取层。该层可以通过多个感受野提取丰富的上文信息，用于优化预测框和置信度评分。
论文阅读|基于点云的3D目标检测之SECOND，是对VoxelNet的改进
yanghao201607030101的博客
03-23 1715
SECOND是对VoxelNet的改进，其输入是点云，将点云离散化到体素之后，利用PointNet的VFE编码每个体素的特征构成稀疏的3D特征图，为了节约计算，利用稀疏3DCNN卷积中间层对此稀疏3D特征卷积，最后得到一个2维特征图，最后使用FPN检测头做定位、分类和定向三个子任务。
论文阅读笔记 | 三维目标检测——PV-RCNN算法
Clichong
12-08 1564
基于voxel（paper中提到的是grid-based）的方法计算效率更高，但不可避免的信息损失降低了细粒度定位精度；而基于point的方法计算成本更高，但是通过PointNet++中的SA层（set abstraction layer）可以实现更大的感受野（这种说法是首次提出的）。 PV-RCNN的想法也是同时结合这两种方法的优势，取其所长，利用voxel-based操作进行有效的多尺度信息编码，生成高质量的3d候选框；同时利用改进的set abstraction模块操作保留精确的位置信息和灵活的感受
PV-RCNN网络结构+代码
07-27
PV-RCNN（Point-Voxel Feature-based RCNN）是一种基于点云和体素特征的三维物体检测网络结构。它综合利用了点云的几何信息和体素的语义特征，提高了物体...你可以在CSDN上搜索更多关于PV-RCNN的详细代码和实现方法。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNNNNathan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值