【3D目标检测】PointPillars论文和代码解析

PointPillars是一款在速度与精度间取得平衡的3D检测模型,它通过将点云数据转化为柱体,形成伪图片进行处理。相比VoxelNet和SECOND等模型,其检测速度更快,且精度不低。作者采用了SSD网络结构进行提案,代码已开源。这篇博客将解析PointPillars的创新点和工作原理。
摘要由CSDN通过智能技术生成

1.前言

本文要解析的模型叫做PointPillars,是2019年出自工业界的一篇Paper。

该模型最主要的特点是检测速度和精度的平衡。该模型的平均检测速度达到了62Hz,最快速度达到了105Hz,确实遥遥领先了其他的模型。这里我们引入CIA-SSD模型中的精度-速度图,具体对比如下所示
在这里插入图片描述
可以看出,截止CIA-SSD论文发表前,PointPillars的检测速度都是遥遥领先的,而且精度也不低。

现有的一些研究喜欢将不规则、稀疏的点云数据按照以下两种方式进行处理,然后引入RPN层进行3D Bbox Proposal,这两种方法为:

(1)将点云数据划纳入一个个体素(Voxel)中,构成规则的、密集分布的体素集。常见的有VoxelNet和SECOND,这在之前的文章中已经解析过了;

(2)从俯视角度将点云数据进行处理,获得一个个伪图片的数据。常见的模型有MV3D和AVOD,这也说过了。

本文采用了一种不同于上述两种思路的点云建模方法。从模型的名称PointPillars可以看出,该方法将Point转化成一个个的Pillar(柱体),从而构成了伪图片的数据。

然后对伪图片数据进行BBox Proposal就很简单了,作者采用了SSD的网络结构进行了Proposal。

本文的论文地址为:https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1812.05784
代码地址为:https://link.zhihu.com/?target=https%3A//github.com/SmallMunich/nutonomy_pointpillars

2 数据处理和网络结构

前面说到本文的一大亮点是将点云划分为一个个的Pillar,从而构成了伪图片的数据。

如何构成这个伪图片呢?作者在论文中是给出了这样的图,如下。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.损失函数

在这里插入图片描述

4 总结

PointPillars是一款能够平衡检测速度和检测精度的3D检测模型。最近我也正在看这个模型的代码,上手玩玩这个模型,希望最后的结果能够惊艳到我(微笑)。如果文章解析部分有理解不到位的地方,欢迎各位批评指正!

写的很清楚,转载自:https://zhuanlan.zhihu.com/p/357626425?ivk_sa=1024320u

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 常用的 3D 目标检测模型有: 1. VoxelNet:基于卷积神经网络的模型,可以进行立体感知和目标检测。 2. PointPillars:利用点云数据进行立体感知和目标检测的模型。 3. AVOD(Average Viewpoint Feature Aggregation for 3D Object Detection):基于多视角特征聚合的 3D 目标检测模型。 4. F-PointNet:使用自然场景点云数据进行 3D 目标检测的模型。 5. SECOND(Squeeze-and-Excitation Contextual Feature Learning for Point Cloud Based 3D Object Detection):使用压缩和激活特征学习的 3D 目标检测模型。 ### 回答2: 3D目标检测技术是基于深度学习的一种计算机视觉技术,用于从3D场景中定位和识别物体。以下是一些被广泛使用且性能良好的3D目标检测模型: 1. PointRCNN:点云目标检测模型,利用点云数据实现目标检测和定位,能够处理稀疏的点云数据。 2. VoteNet:基于点云的3D目标检测模型,结合了语义分割和投票机制,能够更好地处理遮挡和小目标。 3. PIXOR:使用了一个二维滑动窗口和一个二维卷积神经网络,能够将点云数据映射到二维网格中进行目标检测。 4. SECOND:兼容点云和图像数据,将3D目标检测问题转化为在两个不同的视角检测目标。 5. PointPillars:将点云数据转化为Bird's Eye View,并利用3D卷积神经网络进行目标检测。 6. PV-RCNN:结合了点云和视觉特征,利用点云和RGB图像的信息进行目标检测,相较于单独使用点云或图像,能够提高检测性能。 这些模型在各自的数据集上表现出色,能够实现高效准确的3D目标检测。然而,每个模型都有其适应的场景和数据类型,因此在选择合适的3D目标检测模型时需要考虑数据特点和需求。 ### 回答3: 在3D目标检测领域,有一些常用而且在实践中证明有效的模型。 1. Frustum PointNets:这是一种基于深度学习3D目标检测模型,能够对点云数据进行处理并预测物体的边框、类别和姿态等信息。它结合了2D图像和点云信息,通过提取点云中的具体目标,进一步进行目标检测和姿态估计。 2. PIXOR:这是一种基于点云的3D目标检测模型,将点云数据转化为稀疏性图像,然后使用卷积神经网络(CNN)进行目标检测。它能够对比较密集的点云进行有效的检测,并能够对多目标进行处理。 3. MV3D:这是一种多视角的3D目标检测模型,结合了图像和点云信息,并使用多视角投影技术将二者统一。它能够通过多个视角的信息来提高目标检测的精度和鲁棒性。 4. F-PointNet:这是一种光流注意力机制的3D目标检测模型,通过引入光流信息来提高点云特征的表示能力。它能够更好地处理运动目标,并能够在场景中检测到难以分类的物体。 5. VoxelNet:这是一种基于3D体素表示的目标检测模型,通过将点云数据转化为3D体素网格,然后使用3D卷积进行目标检测。它能够对密集和稀疏的点云数据进行有效的处理,并具有较好的鲁棒性和准确性。 这些模型在3D目标检测领域中被广泛应用,并取得了较好的效果。随着技术的不断发展,相信还会出现更多优秀的模型来进一步提高3D目标检测的性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值