三十四.智能驾驶之多传感器融合技术: F-PointNet融合方法

已于 2022-02-19 09:38:59 修改
阅读量2.1k 收藏 12
点赞数 1
分类专栏： 智能汽车 深度学习 多传感器数据融合 文章标签： 自动驾驶 深度学习 目标跟踪
于 2022-02-13 22:56:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/okgwf/article/details/122915779
版权

        在继PointNet,PointNet++之后,其作者Qi有创新的提出了F-PointNet(Frustum PointNet)多传感器融合算法. 即利用在二维图像非常成熟的物体检测网络,在相机成像平面对物体进行定位,确定其2维边框, 利用相机的投影变换,建立以相机平面检测框为起点的3维点云空间的平头视椎体(frustum), 并在此3维视椎体内对点云(须进行Lidar和相机的坐标系变换)进行检测和目标边界框回归计算.

        其视椎体原理可用下图表示: 

F-PointNet网络结构:

        F-PointNet的网络结果可以分为三个部分或步骤(图片来源于网络):

一. 基于了相机RGB图片分辨率高且基于二维图的物体检测十分成熟,F-PointNet首先利用FPN检测器在二维图像上提取目标二维检测框. (注: 在多传感器前融合技术中,AVOD和F-PointNet在前期阶段均使用了FPN网络,而MV3D则采用了VGG-16网络,这里F-PointNet只是用FPN获取检测框);

二. 利用相机的内参做投影变换,将上一步得到的相机平面检测框,投影到3维空间,形成一个平头视椎体.  此时平头视椎体在相机坐标系;

三. 利用相机和Lidar联合标定的结果变换矩阵, 找出所有落在此平头视椎体内的点云. 此时找出的点云相机坐标系表示;

四. 考虑到视椎体朝向的任意性,算法中将所有出现的视椎体都旋转到以中心视角射线为坐标轴的坐标系, 称为椎体坐标系. 这样做目的是归一化视椎体, 确保其旋转不变性. 此时找出的点云用椎体坐标系表示;

五, 对当前平头视椎体内的点云进行基于PointNet或PointNet++(也是作者本人提出的点云分类与语义分割网络)的分类和语义分割, 得到平头视椎体内所有属于该目标的点云,即三维掩码(masking), 同时计算掩码内所有点的质心作为新的坐标系中心点, 建立以此质点为原点的三维掩码(masking)局部坐标系. 其目的是为了提高算法的平移不变性. 此时找出的点云用三维掩码局部坐标系表示;

六. 对已经找出的位于三维掩码局部坐标系的目标点云,使用带有T-Net(变换网络)的PointNet或PointNet++进行边框回归计算. 预测目标的3DBBox,尺寸和朝向. 这里T-Net的作用是预测目标3DBBox的真实中心到前面计算的质心的距离. 然后以预测的真实中心为物体中心,得到其在三维掩码局部坐标系的坐标. 最后利用每个点的缓存的原始坐标或索引,得到检测目标在Lidar坐标系空间的真实坐标..

F-PointNet中的坐标变换关系:

        F-PointNet为了保证点云所表示物体的旋转不变性和平移不变性, 共进行了三次坐标系变换: 视椎体变换, 3维掩膜质心变换 和 T-Net预测物体中心变换. 如下图(图片来源网路):

okgwf
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文阅读笔记 | 三维目标检测——F-PointNet算法
Clichong
11-18 2427
基与鸟瞰图投影的方法（类似MV3D）会在垂直方向上存在物体的遮挡，难以推广到其他更加广泛的真实场景。且现有对深度信息的提取也只限于二维特征图中（一般构造成二维的深度特征图），这样的量化表征方式会模糊自然3d对象的模式。现有工作很少直接对点云数据进行直接处理，此时出现了两个直接基于点云提取特征的结构：PointNet与PointNet++，如何利用这两个新颖结构进行3d目标检测也是难点之一。 F-PointNet的一大创新是利用点云数据来表示深度信息，而不是映射在二维的深度通道上。简单来说，对来自RGB图像
【论文解读】F-PointNet 使用RGB图像和Depth点云深度 数据的3D目标检测
黎国溥
07-22 2756
F-PointNet融合了视觉图像和激光雷达点云信息； 它出现提出了直接处理点云数据的方案。在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。 论文地址：Frustum PointNets for 3D Object Detection from RGB-D Data 开源代
F-PointNet: 以二维图像驱动三维点云中的物体检测
理想三旬
11-21 1435
f-pointnets基于RGB图像+深度信息使用pointnet和pointnet++的结构做了目标检测。 使用到2D RGB图像的原因是当时基于纯3D点云数据的3D目标检测对小目标检测效果不佳，所以f-pointnets先基于2D RGB做2D的目标检测来定位目标，再基于2d目标检测结果用其对应的点云数据视锥进行bbox回归的方法来实现3D目标检测。使用纯3D的点云数据，计算量也会特别大，效率也是这个方法的优点之一。 使用成熟的2D CNN目标检测器（Mask RCNN）生成2D检测框，并输出one-h
【论文概述】F-PointNet (2018)
小陈说CV的博客
04-14 2040
文章目录论文信息问题导入总体思路论文效果总结 论文信息 题目：Frustum PointNets for 3D Object Detection from RGB-D Data 论文链接 代码链接 问题导入 2D 检测模型近年来趋于成熟，但自动驾驶和增强现实领域更多依赖 3D 感知。此前的 3D 检测框架把 3D 点云转换为 images 或者体素化再采用 CNN，这类方案影响了原始 3D 数据的...
F-PointNets
xinxiang7
02-08 936
F-PointNets 论文：《Frustum PointNets for 3D Object Detection from RGB-D Data》 Abstract 利用RGB-D进行目标检测。尽管之前的方法集中在图像或者3D体素上，常常掩盖自然3D模式和3D数据的不变体，但是我们通过RGB-D扫面直接操作原始点云。但是，这个方法的关键在于如何在大范围扫描（区域候选框）的点云中高效的局部化物体。相比于单独依赖于3D候选区域，我们的方法利用预训练好的2D目标检测器和先进的3D深度学习来进行目标局部化，达到即
论文解读 | F-PointNet, 使用RGB图像和Depth点云深度, 数据的3D目标检测
迈微AI研习社 · 号主
07-29 1456
F-PointNet 提出了直接处理点云数据的方案，但这种方式面临着挑战，比如：如何有效地在三维空间中定位目标的可能位置，即如何产生 3D 候选框，假如全局搜索将会耗费大量算力与时间。 F-PointNet是在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。
第3节：PointNet++.pdf
10-11
* 部件分割：PointNet++模型架构可以用于部件分割任务，如机器人控制、自动驾驶等。 PointNet++模型架构的优点包括： * 具有置换不变性和旋转不变性 * 可以处理大量的点云数据 * 可以融合局部特征和全局特征 ...
# End-to-end Pseudo-LiDAR for Image-Based 3D Object Detection Th
10-17
近年来，随着多传感器融合技术的发展，图像与LiDAR（Light Detection and Ranging，光探测和测距）数据的结合为3D检测提供了新的解决方案。本篇文章将深入探讨"End-to-end Pseudo-LiDAR for Image-Based 3D Object ...
0 智能驾驶自动驾驶深度感知技术对车和行人的检测.docx
12-23
3D物体检测方法如PointNet、 SECOND、VoxelNet等，利用激光雷达数据或结合摄像头和激光雷达的多传感器融合，实现更精确的三维定位。这些技术的进步使得自动驾驶汽车在复杂环境下的感知能力得到了显著提升，为实现...
三维重建-基于3D扫描的大规模场景补全+语义分割-优质项目实战.zip
最新发布
03-24
在本项目实战中，我们将深入探讨“三维重建-基于3D扫描的大规模场景补全+语义分割”这一前沿技术领域。三维重建是计算机视觉和图像处理中的一个重要课题，它旨在通过多视角图像或者深度数据生成一个物体或场景的三维...
Pointnet++中文翻译
12-26
对论文进行翻译的pdf版，记录一些好的论文，并对它进行翻译，并上传到里面，既可以方便日后使用，也可以用来供大家一起来学习。
关于三维物体识别装置，三维物体识别方法和车辆的说明.rar
10-02
在现代智能交通系统中，三维物体识别技术扮演着至关重要的角色，特别是在自动驾驶和高级驾驶辅助系统（ADAS）中。本文件"关于三维物体识别装置，三维物体识别方法和车辆的说明.rar"主要探讨了这一领域的核心技术和...
F-PointNet 论文阅读理解
白菜的博客
02-27 7184
总述 本文提出一种方法： 使用成熟的2D的目标检测方法中cnn提供的region proposal和3D的目标检测定位（也就是pointnet处理点云），将二者结合利用RGB-D映射和一个叫做锥体（Frustum）?形成一个3D的box参数进行输出。 本文主要贡献就是在“一个叫做锥（Frustum）”的使用上结合2D的region propos和点云进行3D的分割和box的输出。 为方便理...
文章阅读：F-PointNet +代码复现
有所为，有所成长
08-20 1万+
Brief  这是笔者看3D检测的第二篇文章，第一篇是18年CVPR的VoxelNet，这一篇同样是18年的CVPR，第一作者就是PointNet和Pointnet++的作者，这一篇算是后续作品。二三作者也是大佬，分别是Wei Liu（SSD,DSSD），Hao Su。 个人总结本文的亮点有： 原始数据输入，保留了原始特征和点云不变性特征（在voxel中存在的问题）。 坐标转换和对其思想的使用，...
点云深度学习系列一： PointNet和PointNet++
oliongs的博客
09-14 1万+
前言：SLAM的系列实验基本就更新那么多，之后开始进入点云深度学习的方向，不出意外，这个系列会持续很久 点云深度学习最近一两年逐渐火热，这个系列从CVPR2017的PointNet开始，主要总结顶会的相关文章，不会全文翻译，只总结自己觉得重要的点。感兴趣的同学，可以去阅读原文。毕竟经要去西天取，文章要去源头品。 PointNet （PointNet: Deep Learning on Poi...
【3D Object Classification and Detection】01. PointNet
keltloja的博客
03-01 544
PointNet: Deep learning on point sets for 3d classification and segmentation
三维深度学习之pointnet系列详解（一）
热门推荐
qq_15332903的博客
05-09 12万+
目前二维深度学习取得了很大的进步并且应用范围越来越广，随着三维设备的发展，三维深度学习得到了很大的关注。最近接触了三维深度学习方面的研究，从pointnet入手，对此有了一点点了解希望记录下来并分享，若有误希望指正~持续更新以下所有的解读基于点云分类。一、三维深度学习简介二、点云存在的问题三、pointnet网络结构详解四、pointnet代码详解五、参考文献一、三维深度学习简介多视角（multi...
最全PointNet和PointNet++要点梳理总结
DAOCHI
11-12 3万+
一、基本简介 本篇博文主要是对 PointNet，PointNet++ 论文的要点进行梳理和总结。认真阅读本博文后，不仅能够深刻理解论文的核心算法思想，而且对模型训练数据的准备和模型的训练细节也能了然于胸。如果想阅读原论文，参考下面的链接资源，附有本人对原论文的中文翻译。 PointNet论文翻译，附链接。 PointNet++论文翻译，附链接。 二、PointNet 解决了什么问题？ a. 由于卷积网络在2D图像上的兴起，很多研究者开始将神经网络应用于3D点云数据。但是，大部分工作都是将3D
PointNet系列文献小结
hehehetanchaow的博客
01-07 2678
参考文章：https://zhuanlan.zhihu.com/p/44809266 此系列论文首先提出了一种新型的处理点云数据的深度学习模型-PointNet，并验证了它能够用于点云数据的多种认知任务，如分类、语义分割和目标识别。不同于图像数据在计算机中的表示通常编码了像素点之间的空间关系，点云数据由无序的数据点构成一个集合来表示。因此，在使用图像识别任务的深度学习模型处理点云数据之前，需要对...
pointnet中的mlp原理
05-15
在PointNet中，MLP（Multi-Layer Perceptron）是一个常见的神经网络模块，用于学习点云特征表示。MLP由多个全连接层组成，每个全连接层都将输入的点云特征映射到一个新的特征空间。具体来说，假设输入的点云特征为 $X \in \mathbb{R}^{N\times D}$，其中 $N$ 表示点的数量，$D$ 表示每个点的特征维度。MLP的第 $l$ 层由以下公式定义： $$ \begin{aligned} &Z^{(l)}=f(W^{(l)}Z^{(l-1)}+b^{(l)})\\ &Z^{(0)}=X \end{aligned} $$ 其中 $W^{(l)} \in \mathbb{R}^{D_l\times D_{l-1}}$ 和 $b^{(l)} \in \mathbb{R}^{D_l}$ 分别表示第 $l$ 层的权重矩阵和偏置向量，$Z^{(l-1)} \in \mathbb{R}^{N\times D_{l-1}}$ 表示第 $l-1$ 层的输出，$f$ 表示激活函数，常见的有ReLU、sigmoid、tanh等。 在PointNet中，MLP的输出通常会经过一个池化操作，将每个点的特征向量汇总成一个全局特征向量。具体来说，假设 MLP 的最后一层的输出为 $Z^{(L)} \in \mathbb{R}^{N\times D'}$，其中 $D'$ 表示输出的特征维度。全局池化操作可以定义为： $$ \begin{aligned} &f_{pool}(Z^{(L)})=\max_{i=1,\dots,N}(Z^{(L)}_i)\\ &Z_{global}=f_{pool}(Z^{(L)}) \end{aligned} $$ 其中 $Z_{global} \in \mathbb{R}^{D'}$ 表示全局特征向量，它包含了整个点云的信息。通过这种方式，PointNet可以将点云映射到一个固定维度的向量表示，从而实现点云的分类、分割等任务。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值