[论文解读]Multi-View 3D Object Detection Network for Autonomous Driving

最新推荐文章于 2024-03-27 09:52:31 发布
最新推荐文章于 2024-03-27 09:52:31 发布
阅读量1.1w 收藏 42
点赞数 6
分类专栏： 3D目标检测 文章标签： 目标检测 3D目标检测 融合网络 无人驾驶 MV3D
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/williamyi96/article/details/78043014
版权

问题引入

在无人驾驶场景中，物体的3D检测(或者说是bounding-box)的重要性不言而喻。从2D检测到3D检测，主要的难点是提取深度信息，因此总体上可以将其分为四种，分别为：

  • 基于单目图像(Mono)
  • 基于双目图像(Stereo)
  • 基于雷达(LIDAR)
  • 基于融合网络

这篇论文就是一篇较为出色的融合网络的范例。后期和清华的老师沟通得知，这篇论文的算法正在被产业化，因此源码在一段时间内不会透露，可以就相关问题进行沟通。

但是该论文的很多思想以及尝试的实现代码还是有很多值得学习的地方的。

接下来说一下这篇文章的性质: 这是一篇将雷达点云与单目视觉融合来进行的3D bounding-box提取。

关于突出贡献什么的，个人觉得最大的一点就是将雷达点云信息与单目图像信息结合起来了，同时这种结合还保证了其速度与精度。关于其能够达到如此好的效果的原因，将在之后的文章中进行深入的分析。

总体结构

老规矩，了解一篇文章首先了解其总体的架构：

这里写图片描述

首先将雷达输入的3D点云投影到俯视图和鸟瞰图，接着用鸟瞰图通过卷积网络以及3D bounding-box回归之后生成低精度的3D proposal，然后将此3D proposal投影到俯视图，鸟瞰图和单目图像，通过一个融合网络，最后将其通过多任务损失函数进行训练。

实验结果

实验结果直接放图：

这里写图片描述

这里写图片描述

这里写图片描述

总结

该文章分析了MV3D实现的总体框架以及其当前的主要优势，由于对某些部分的实现暂时没有完全弄懂，同时处于整个框架的设计较为复杂，因此关于网络设计实现以及测试部分的内容将在后续的文章中进行分析。

参考文献

  1. Multi-View 3D Object Detection Network for Autonomous Driving
  2. A trial of implementation of MV3D
  3. Video of MV3D on CVPR17
williamyi96
关注
  • 6
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Multi-Modal 3D Object Detection in Autonomous Driving a Surv
09-23
Multi-Modal 3D Object Detection in Autonomous Driving a Survey.zip
（CVPR 2017）Multi-View 3D Object Detection Network for Autonomous Driving
03-25 861
摘要 本文针对自动驾驶场景中的高精度3D目标检测。我们提出了多视图3D网络(MV3D)，这是一种传感融合框架，将LIDAR点云和RGB图像作为输入并预测定向的3D边界框。我们使用紧凑的多视图表示对稀疏3D点云进行编码。该网络由两个子网络组成：一个用于3D目标proposal生成，另一个用于多视图特征融合。proposal网络从3D点云的鸟瞰图表示有效地生成 3D候选框。我们设计了一个深度融合方案来组合来自多个视图的区域特征，并实现不同路径的中间层之间的交互。在具有挑战性的KITTI基准上进行的实验表明，我们
论文解读：SMOKE：SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation
weixin_39326879的博客
01-07 4493
摘要 估计三维方向和物体的平移对于无基础设施的自主导航和驾驶至关重要。 在单目视觉方面，成功的方法主要基于两个因素：（1）网络生成2D区域提案；（2）R-CNN结构，利用所获得的感兴趣区域预测3D物体的姿态。 我们认为2D检测网络是冗余的，并为3D检测引入了不可忽略的噪声。 因此，我们提出了一种新的三维目标检测方法，称为SMOKE，该方法通过将单个关键点估计与回归的三维变量相结合来预测每个检测对象的三维包围盒。 作为第二种贡献，我们提出了一种构造三维包围盒的多步分离方法，这大大提高了训练收敛性和检测精度。
探秘3D-LIDAR-Multi-Object-Tracking：智能感知的新里程碑
最新发布
gitblog_00063的博客
03-27 615
探秘3D-LIDAR-Multi-Object-Tracking：智能感知的新里程碑 项目地址:https://gitcode.com/HuangCongQing/3D-LIDAR-Multi-Object-Tracking 在这个数字化时代，自动驾驶和无人机等智能系统的快速发展离不开精准的环境感知技术。3D-LIDAR-Multi-Object-Tracking（3D激光雷达多目标跟踪）项目就...
Visual-Perception-and-Recognition-for-Autonomous-Driving:论文
05-13
视觉感知和自动驾驶识别 这是一个名为“自动驾驶的视觉感知和识别”的毕业设计。 要求 该代码需要 ， 以及以下python库： matplotlib 麻木 枕头 科学的 Runcython commentjson 可以使用以下命令pip install numpy scipy pillow matplotlib runcython commentjson这些模块： pip install numpy scipy pillow matplotlib runcython commentjson或pip install -r requirements.txt 。 设置 克隆此存储库： https://github.com/MPIG/Visual-Perception-and-Recognition-for-Autonomous-Driving.git : https://github.co
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics framework for instance-level 3D scene understanding. We train a deep convolutional network that learns to map image regions to the full 3D shape and pose of all object instances in the image. Our method produces a compact 3D representation of the scene, which can be readily used for applications like autonomous driving. Many traditional 2D vision outputs, like instance segmentations and depth-maps, can be obtained by simply rendering our output 3D scene model. We exploit class-specific shape priors by learning a low dimensional shape-space from collections of CAD models. We present novel representations of shape and pose, that strive towards better 3D equivariance and generalization. In order to exploit rich supervisory signals in the form of 2D annotations like segmentation, we propose a differentiable Render-and-Compare loss that allows 3D shape and pose to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
【论文笔记】MV3D：Multi-View 3D Object Detection Network for Autonomous Driving
weixin_43333886的博客
04-26 1331
摘要 本文针对自动驾驶场景中的高精度3D对象检测。我们提出了多视点三维网络(MV3D)，这是一个以激光雷达点云和RGB图像为输入，预测定向三维边界框的传感器融合框架。我们用一个紧凑的多视图表示来编码稀疏的三维点云。该网络 由两个子网络组成: 一个用于三维物体建议生成，另一个用 于多视图特征融合。提案网络从三维点云的鸟瞰图表示中有效地生成三维候选框。我们设计了一个深度融合方案，将来自多个视图的区域特征结合起来，使不同路径的中间层之间能够相互作用。在具有挑战性的KITTI基准上的实验表明， 我们的方法在 3d
Multi-View 3D Object Detection Network for Autonomous Driving
鱼遇的博客
01-04 506
1. Motivation 受二维目标检测启发，并且利用多视图的信息，将3D稀疏点云数据编码成dense的多视图数据，之后进行深度融合在进行目标检测。 2. Contribution 利用多模态信息进行区域特征融合，得到更加丰富点云信息； 提出多视图编码方法，获得稀疏的三维dense的点云表示； 采用点云鸟瞰图来生成高度精确的3D proposals； 设计了一种深度融合方法，使中间层能够从不同的试图进行交互； 结合drop-path训练方法和 3. 正文 3.1 3D Point Cloud Rep
[论文笔记]Multi-View 3D Object Detection Network for Autonomous Driving
weixin_43146899的博客
12-07 2787
Multi-View 3D Object Detection Network for Autonomous Driving 本文提出一种多模态的3D目标检测，融合了视觉和雷达点云信息。和以往基于voxel的方法不同，它只用了点云的俯视图和前视图，这样既能减少计算量，又不至于丧失过多的信息。随后生成3D候选区域，把特征和候选区域融合后输出最终的目标检测框。 作者认为基于LIDAR点云的方法通常可以获得更准确的3D目标位置，而基于图像的方法就2D目标评估具有更高的精度。 整体架构如下图所示，多模态3D检测网络由
Multi-Modal 3D Object Detection in Autonomous Driving a
09-25
Multi-Modal 3D Object Detection in Autonomous Driving a Survey.pdf
PSEUDO-LIDAR ACCURATE DEPTH FOR 3D OBJECT DETECTION IN AUTONOMOUS DRIVING
06-02
计算机视觉Github开源论文
用于自动驾驶的多视角3D物体检测
09-06
本文旨在自动驾驶场景中的高精度三维物体检测。提出了多视图3D网络（MV3D），这是一种感知融合框架，它将LIDAR点云和RGB图像作为输入和前面板定向的3D边界框。
3D Backbone Network for 3D Object Detection.pdf
05-12
目标检测论文 3D Backbone Network for 3D Object Detection.pdf
kitti数据集百度网盘地址
10-22
已经下载好了的kitti数据集，用于自动驾驶、目标检测、深度学习
Bounding-box Regression深度解析
博观而约取，深研而广求
08-24 5986
在R-CNN以及之后的系列文章中，都有Bounding-box Regression的使用，甚至到了MV3D等等的3D Bounding-box Regression, 其思想都是来源于最基础的Bb Regression的。我将从以下几个角度主要结合自己的理解来谈一谈Bounding-box Regression. 首先，讲一下bounding-box regression使用的动机及其解决的问题，
[论文解读] 3DOP: 3D Object Proposals using Stereo Imagery for Accurate Object Class Detection
博观而约取，深研而广求
09-25 5155
基本介绍3DOP这篇文章是当下使用双目相机进行3D bounding-box效果做好的方法，其是Fast RCNN方法在3D领域之内的拓展。由于原论文发表于NIPS15，出于Fast RCNN的效果并没有Faster RCNN和基于回归的方法好，且远远达不到实时性，因此其处理一张图片的时间达到了4.0s。以下文章的介绍将主要依据资料更为完成的PAMI17来分析。总体结构如下则是该方法的总体流程：其流
Stereo R-CNN based 3D Object Detection for Autonomous Driving的优势与缺点、
02-18
优势：Stereo R-CNN可以提供更准确和细致的3D目标检测，特别是在自动驾驶环境中，可以更好地探测和定位障碍物。缺点：Stereo R-CNN需要计算量较大，而且它的训练过程十分复杂，模型也需要更多的训练数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值