NNNNNathan
slam博主,不定期更新感知相关博文。
展开
-
PointPillars论文解析和OpenPCDet代码解析
PointPillars是一个来自工业界的模型,整体思想基于图片的处理框架,直接将点云划分为一个个的Pillar,从而构成了伪图片的数据。速度和精度都达到了一个很好的平衡本文将会以OpenPCDet为代码基础,详细解析PointPillars的代码实现流程...原创 2022-02-19 11:13:45 · 34752 阅读 · 52 评论 -
TPVFormer论文与模型代码注析
TPVformer使用多相机图像输入来生成周环境的占据栅格;并且网络训练只需要使用稀疏的激光点云进行监督训练。原创 2023-11-01 08:26:20 · 427 阅读 · 1 评论 -
BEVFusion论文与模型代码分享
作者对该篇文章首先提出的是多传感器融合对于准确可靠的自动驾驶系统非常重要;最近的许多工作都是基于点层面的融合,用相机的特征来增强点云特征的表达;然而相机到雷达点云的映射天生丢弃了属于图像该有的稠密且丰富的语义信息;该方法直接妨碍了语义为导向的任务(比如3D场景分割)的有效性。因此本篇文章,作者打破该惯例,将来自多模态的特征在BEV空间下进行融合表达,该方法可以良好的保留点云的几何信息和图像的语义信息。为了实现该方法;原创 2023-10-30 21:55:24 · 291 阅读 · 1 评论 -
Lift, Splat, Shoot图像BEV安装与模型代码详解
计算机视觉算法通常使用图像是作为输入并输出预测的结果,但是对结果所在的坐标系却并不关心,例如图像分类、图像分割、图像检测等任务中,输出的结果均在原始的图像坐标系中。因此这种范式不能很好的与自动驾驶契合。在自动驾驶中,多个相机传感器的数据一起作为输入,这样每帧图像均在自己的坐标系中;但是感知算法最终需要在车辆自身坐标系(ego coordinate)中输出最终的预测结果;并提供给下游的规划任务。当前也有很多简单、使用的方法用于扩展单帧图像到多视角图像的方法。原创 2023-10-15 12:14:36 · 374 阅读 · 1 评论 -
PV-RCNN++网络结构和代码解析
1、前言 这篇文章废话不多说了,主要史帅基于PV-RCNN上面进行的改进,本文不会从头构建网络并进行解析,对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。PV-RCNN论文和逐代码解析(一)_NNNNNathan的博客-CSDN博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类,第一类为grid-based的方法,第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels (VoxelNet, SECOND ....原创 2022-04-22 11:34:20 · 6165 阅读 · 8 评论 -
Voxel-RCNN论文和逐代码解析
1、前言当前的点云3D检测主要分为两大类,第一类为grid-based的方法,第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels (VoxelNet, SECOND , Fast PointRCNN, Part A^2 Net)或者转化成 2D的BEV特征图(PIXOR, HDNet,PointPillars),这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 point-b...原创 2022-03-18 10:00:54 · 6787 阅读 · 9 评论 -
PV-RCNN的推理实现和LOSS计算(三)
前面已经完成了PV-RCNN网络的搭建和第一、第二阶段中关键点分割的label匹配,anchor与GT匹配、proposal与GT的target assignment,想了解的小伙伴可以我之前的博文第一阶段:PV-RCNN论文和逐代码解析(一)_NNNNNathan的博客-CSDN博客1、前言当前的点云3D检测主要分为两大类,第一类为grid-based的方法,第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels (Voxe...原创 2022-03-15 21:32:36 · 3887 阅读 · 5 评论 -
PV-RCNN论文和逐代码解析(二)
第一阶段:1、MeanVFE (voxel特征编码)2、VoxelBackBone8x(3D CNN 提取voxel特征)3、HeightCompression(高度方向Z轴堆叠)5、BaseBEVBackbone(SECOND中的RPN层)6、AnchorHeadSingle(anchor分类和回归头)4、VoxelSetAbstraction(VSA模块,对不同voxel特征层完成SA)第二阶段:7、PointHeadSimple Predicted Keypoint..原创 2022-03-13 19:08:57 · 5225 阅读 · 5 评论 -
PV-RCNN论文和逐代码解析(一)
1、前言当前的点云3D检测主要分为两大类,第一类为grid-based的方法,第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels (VoxelNet, SECOND , Fast PointRCNN, Part A^2 Net)或者转化成 2D的BEV特征图(PIXOR, HDNet,PointPillars),这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。...原创 2022-03-11 11:21:22 · 8654 阅读 · 12 评论 -
SECOND点云检测代码详解
1、前言SECOND也是一片基于Voxel按anchor-based的点云检测方法,网络的整体结构和实现大部分与原先VoxelNet相近,同时在VoxelNet的基础上改进了中间层的3D卷积,采用稀疏卷积来完成,提高了训练的效率和网络推理的速度,同时解决了VoxelNet中角度预测中,因为物体完全反向和产生很大loss的情况;同时,SECOND还提出了GT_Aug的点云数据增强。没有了解过VoxelNet的小伙伴可以查看我的这篇文章:VoxelNet点云检测详解_NNNNNathan...原创 2022-03-07 16:19:40 · 11748 阅读 · 15 评论 -
PointRCNN的loss计算与推理实现
在我前面的文章中,已经完成了PointRCNN的网络构建,链接在这:PointRCNN论文和逐代码详解_NNNNNathan的博客-CSDN博客1、前言当前点云检测的常见方式分别有1、将点云划分成voxel来进行检测,典型的模型有VoxelNet、SECOND等;作然而本文的作者史博士提出这种方法会出现量化造成的信息损失。2、将点云投影到前视角或者鸟瞰图来来进行检测,包括MV3D、PIXOR、AVOD等检测模型;同时这类模型也会出现量化损失。3、将点云直接生成伪图片,然后使用2D的方式来进行处理,这主要原创 2022-03-05 14:14:35 · 4211 阅读 · 6 评论 -
PointRCNN论文和逐代码详解
1、前言当前点云检测的常见方式分别有1、将点云划分成voxel来进行检测,典型的模型有VoxelNet、SECOND等;作然而本文的作者史博士提出这种方法会出现量化造成的信息损失。2、将点云投影到前视角或者鸟瞰图来来进行检测,包括MV3D、PIXOR、AVOD等检测模型;同时这类模型也会出现量化损失。3、将点云直接生成伪图片,然后使用2D的方式来进行处理,这主要是PointPillar。本文PointRCNN提出的方法,是一篇比较新颖的点云检测方法,与此前的检测模型不同,它直接根据点云分原创 2022-03-03 12:17:35 · 13617 阅读 · 4 评论 -
VoxelNet点云检测详解
1、前言 精确的点云检测在很多三维场景的应用中都是十分重要的一环,比如家用机机器人、无人驾驶汽车等场景。然而高效且准确的点云检测在pointnet网络提出之前,一直没能取得很好的进展,因为传统的手工点云特征提取没有很好的泛化性能。所以VoxelNet是一个端到端的点云检测模型。直接使用深度学习完成对点云的特征提取;同时,这也使得网络更加高效。这个模型在当时的KITTI点云检测中也取得了SOTA的成绩。VoxelNet: End-to-End Learning for Point Clo...原创 2022-02-28 16:39:21 · 16165 阅读 · 13 评论 -
PointPillars点云检测在OpenPCDet推理代码详解
在之前的文章中已经详细解析了PointPillars的论文和训练代码的实现和详解,可以参考之前的博客:PointPillars论文解析和OpenPCDet代码解析_NNNNNathan的博客-CSDN博客。本篇博客将会详细解析PointPillars模型在OpenPCDet中推理代码,并测试推理的效果。读者可以下载OpenPCDet后根据文章进行阅读和理解。由于本人才疏学浅,解析中难免会出现不足之处,欢迎指正、讨论,有好的建议或意见都可以在评论区留言。谢谢大家!PointPi...原创 2022-02-24 15:34:24 · 7449 阅读 · 25 评论