PV-RCNN的推理实现和LOSS计算（三）

已于 2022-03-17 10:16:07 修改
阅读量3.9k 收藏 19
点赞数 18
分类专栏： 3D感知论文分析与代码实战 文章标签： 自动驾驶 目标检测 计算机视觉 深度学习 人工智能
于 2022-03-15 21:32:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41366026/article/details/123507655
版权
本文详细介绍了PV-RCNN的Loss计算，包括anchor头的分类和回归损失、PKW分割损失和Refinement网络损失。此外，还阐述了网络推理的实现过程，从预测结果生成到后处理的NMS操作。最后，讨论了在消融实验中，如voxel-to-keypoint场景编码、不同层特征的影响、PKW模块和ROI-grid Pooling对结果的贡献。
摘要由CSDN通过智能技术生成

        前面已经完成了PV-RCNN网络的搭建和第一、第二阶段中关键点分割的label匹配，anchor与GT匹配、proposal与GT的target assignment，想了解的小伙伴可以我之前的博文

第一阶段：

PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-CSDN博客1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NNNNNathan
关注
专栏目录
订阅专栏
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6311
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-CSDN博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
PV-RCNN论文和逐代码解析（二）
NNNNNathan的博客
03-13 5279
第一阶段： 1、MeanVFE （voxel特征编码） 2、VoxelBackBone8x（3D CNN 提取voxel特征） 3、HeightCompression（高度方向Z轴堆叠） 5、BaseBEVBackbone（SECOND中的RPN层） 6、AnchorHeadSingle（anchor分类和回归头） 4、VoxelSetAbstraction（VSA模块，对不同voxel特征层完成SA） 第二阶段： 7、PointHeadSimple Predicted Keypoint..
PV-RCNN代码解读——demo.py & test.py
蓝鲸鱼的博客
07-30 5795
PV-RCNN：paper，code 1. 输入参数 从demo.py的main()看起 def main(): args, cfg = parse_config() demo_dataset = DemoDataset( dataset_cfg=cfg.DATA_CONFIG, class_names=cfg.CLASS_NAMES, training=False, root_path=Path(args.data_path), ext=args.ext,
PV-RCNN代码解读——train & test
蓝鲸鱼的博客
08-13 2905
PV-RCNN：paper，code 在tools/train.py中找到以下表示开始训练的代码 # -----------------------start training--------------------------- logger.info('**********************Start training %s/%s(%s)**********************' % (cfg.EXP_GROUP_PATH, cfg.TAG, a
PV-RCNN代码解读——eval.py
蓝鲸鱼的博客
08-19 3518
PV-RCNN：paper，code （一）目标检测模型评估的介绍 训练完数据并且测试最后一个epoch之后，log的结果 INFO Car AP@0.70, 0.70, 0.70: bbox AP:89.6559, 83.1009, 78.4558 bev AP:87.8147, 77.5440, 76.1072 3d AP:75.0818, 64.6598, 58.0468 aos AP:87.94, 80.87, 75.62 这里涉及到目标检测中几个重要的定义： IoU（Intersect
PV-RCNN:聚氯乙烯
04-23
PV-RCNN：用于3D对象检测的Point-Voxel特征集抽象 此PointVoxel-RCNN用于我们的CVPR 2020论文PointVoxel-RCNN用于从点云进行3D对象检测。 代码： 代码。 作者：石少帅，郭朝旭，李丽，王哲，石建平，王晓刚，李洪生。 抽象的 我们提出了一种新颖的，高性能的3D对象检测框架，名为PointVoxel-RCNN（PV-RCNN），用于从点云中进行精确的3D对象检测。 我们提出的方法将3D体素卷积神经网络（CNN）和基于PointNet的集合抽象进行了深度集成，以学习更多判别性点云功能。 它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活接收范围的优势。 具体而言，提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景汇总为一小组关键点，以节省后续计算并对代表性场景特征进行编码。 考虑到体素CNN生成的
PV-RCNN论文和逐代码解析（一）
NNNNNathan的博客
03-11 8849
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 ...
论文解读：PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
weixin_44973419的博客
10-05 1021
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection 目录PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object DetectionAbstraction：Method：1 PV-RCNN for Point Cloud Object Detection1.1 3D Voxel CNN for Effificient Feature Encoding and Pr
PV-RCNN：Point-based与Voexl-based共同成就的高性能3D目标检测网络
weixin_41271939的博客
04-22 3288
现阶段的3D目标检测方法主要可以分为两大类，一个是采用pointnet及其变种直接对点云进行处理，即point-based。一种是将点云数据转化成规则的体素，通过三维卷积进行特征提取，即voxel-based。两种方法没有绝对意义上的孰优孰劣，各有各自不同的特点。得益于稀疏卷积，voxel-based方法的显存占用与计算量大大减少，但是体素化带来的信息损失仍然不可避免。而point-based方法虽然利用了完整的，也是最原始的点云信息，但是这类方法都会通过SA操作来提取局部空间信息，SA操作中的近邻搜索过于
PV-RCNN++网络结构
Oliver_jiang的博客
03-13 2110
PV-RCNN++（PV-RCNN-V2）
【3D目标检测】PV-RCNN
可乐大牛的博客
10-11 1224
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。PV-RCNN融合了点云特征提取中基于体素方法和基于点方法的思想，进一步提高检测的性能提出了一种voxel-to-keypoint的编码方法，该方法将一帧内的多尺度体素特征编码为一系列的关键点中。这些关键点不仅保留了准确的位置信息，还拥有丰富的全局信息，可以提高三维检测性能。提出了一种在proposal中使用的多尺度的RoI特征提取层。该层可以通过多个感受野提取丰富的上文信息，用于优化预测框和置信度评分。
【3D 目标检测】PVRCNN详解(个人阅读心得并总结其他人的结论得出的文章)
qq_36380978的博客
08-26 7885
第一篇3d检测博客，尽量做的详细。 一 核心思路 文章称该方法把point-based和voxel-based两种方法的优势结合起来，提高了3D目标检测的表现。基于体素的操作可以高效的编码多尺度特征表示并生成高质量3D提案框，基于point操作有可变的感受野故可以保留更精确的位置信息。 voxel-based（grid）优缺点：高效、但信息损失降低定位细粒度的精度（fine grained localization accuracy） point-based优缺点：计算成本高、但可以得到更大的感受野
CVPR2020 | PV-RCNN: 3D目标检测 Waymo挑战赛+KITTI榜 单模态第一算法
3D视觉工坊
02-17 867
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨Shaoshuai Shi@知乎来源丨https://zhuanlan.zhihu.com/p/148942116编辑丨3D视觉...
pointpillar location loss
W1995S的博客
04-05 569
计算 分类 loss cls_preds = self.forward_ret_dict['cls_preds'] # 类别预测结果 [N, H, W, C1] box_cls_labels = self.forward_ret_dict['box_cls_labels'] # box类别标签 [N, num_anchors] torch.Size([3, 248, 216, 18]) # 类别预测结果 torch.Size([3, 321408]) # box类别标签 tensor([[[[-4.
PointRCNN的loss计算与推理实现
NNNNNathan的博客
03-05 4278
在我前面的文章中，已经完成了PointRCNN的网络构建，链接在这： PointRCNN论文和逐代码详解_NNNNNathan的博客-CSDN博客1、前言当前点云检测的常见方式分别有1、将点云划分成voxel来进行检测，典型的模型有VoxelNet、SECOND等；作然而本文的作者史博士提出这种方法会出现量化造成的信息损失。2、将点云投影到前视角或者鸟瞰图来来进行检测，包括MV3D、PIXOR、AVOD等检测模型；同时这类模型也会出现量化损失。3、将点云直接生成伪图片，然后使用2D的方式来进行处理，这主要
PointPillars点云检测在OpenPCDet推理代码详解
NNNNNathan的博客
02-24 7622
在之前的文章中已经详细解析了PointPillars的论文和训练代码的实现和详解，可以参考之前的博客：PointPillars论文解析和OpenPCDet代码解析_NNNNNathan的博客-CSDN博客。 本篇博客将会详细解析PointPillars模型在OpenPCDet中推理代码，并测试推理的效果。 读者可以下载OpenPCDet后根据文章进行阅读和理解。 由于本人才疏学浅，解析中难免会出现不足之处，欢迎指正、讨论，有好的建议或意见都可以在评论区留言。谢谢大家！ PointPi...
不均衡分类问题 之 class weight & sample weight
SkullSky的博客
05-25 8051
分类问题中，当不同类别的样本量差异很大时，很容易影响分类结果。因此，需要进行校正。 sklearn的做法是加权，加权就要涉及到class_weight和sample_weight，当不设置class_weight参数时，默认值是所有类别的权值为1。 类型权重 class_weight 字典类型，将类索引映射到权重值。对训练集里的每个类别加权，作用于损失函数（仅在训练过程中）。从而使模型更加关注样本数量少的类别。如果某类别的样本数多，那么它的权重就低，反之则权重就高. 应用场景： 第一种是误分类的代价很高。比
【3D目标检测】[看code] VoxelRCNN RPN（一）
这个人是条懒狗，什么都没留下
11-19 1190
3D目标检测
pv-rcnn实现点云标签和预测结果同时可视化
最新发布
10-05
PV-RCNN是一种用于点云目标检测的深度学习模型。它结合了点云分割和二维图像检测的优势，能够对点云数据进行标签和预测结果的同时可视化。 PV-RCNN模型首先将输入的点云数据进行分割，将点云分为不同的物体实例。然后，它使用二维图像检测网络对每个实例进行目标检测，得到物体的位置、大小和类别等信息。 在PV-RCNN中实现点云标签和预测结果同时可视化的方法如下： 1. 首先，加载点云数据和对应的标签信息。点云数据可以使用开源库Open3D或者其他点云处理工具进行读取。 2. 使用PV-RCNN模型对点云数据进行预测，得到目标检测的结果。可以使用已经训练好的PV-RCNN模型，或者自己训练一个模型。 3. 将点云数据和目标检测的结果可视化。可以使用可视化工具如Matplotlib或者Mayavi来显示点云数据及其对应的预测框、标签等信息。 4. 将点云数据和预测结果进行融合显示。可以将点云以三维点云的形式展示出来，再将预测结果以二维框的形式叠加在点云上，标注物体的类别和置信度等信息。 5. 可以进一步优化可视化效果，比如使用不同的颜色来表示不同的物体类别，或者使用渐变色来表示物体的置信度等。 通过以上步骤，我们可以实现PV-RCNN的点云标签和预测结果同时可视化。这样可以直观地观察模型的检测效果，帮助我们理解和分析模型的性能，并进行模型的改进和优化。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNNNNathan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值