自动驾驶系统进阶与项目实战（三）基于全卷积神经网络的点云三维目标检测和ROS实战

最新推荐文章于 2024-07-08 20:03:55 发布
置顶 最新推荐文章于 2024-07-08 20:03:55 发布
阅读量1.3w 收藏 116
点赞数 38
分类专栏： 自动驾驶系统进阶与项目实践 文章标签： 深度学习 三维目标检测 点云语义分割 ROS 自动驾驶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AdamShan/article/details/106157761
版权
本文介绍了基于全卷积神经网络（FCN）的点云三维目标检测，探讨了百度开源的cnn_seg在自动驾驶中的应用，特别是如何利用ROS进行实践。文章详细阐述了FCN的结构和工作原理，并提供了环境准备、参数配置、Kitti数据实例等实战指导。通过将点云数据鸟瞰投射，实现有序的二维特征图，然后输入到FCN进行语义分割训练，最终实现三维点云的逐点分类。
摘要由CSDN通过智能技术生成

自动驾驶系统进阶与项目实战（三）基于全卷积神经网络的点云三维目标检测和ROS实战

前面入门系列的文章中我介绍了几种点云三维分割/目标检测模型，在做点云预处理上，有通过球面投射（SqueezeNet）得到深度图的，也有采用Voxel网格的（VoxelNet），本文我们一起学习一下百度开源的cnn_seg点云三维语义分割神经网络，该模型被集成于Apollo的perception模块，并且自Apollo 3.0开始一直是Apollo体系下用于障碍物检测的主力模型，在Apollo 5.0以后甚至release出了128线的模型。本文我们将基于ROS进行该网络的实践，该网络由于采用了百度自身的大规模数据集训练得到，其性能（分类鲁棒性、边缘拟合度）远胜于我们前面介绍的使用KITTI数据集训练的神经网络，但是该神经网络对GPU性能要求较高，需要GTX1080及以上的显卡才能够维持10Hz的inference频率；

在这里插入图片描述

项目源代码以及测试数据见文末链接，本实例修改自Apollo Perception模块以及Autoware的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AdamShan
关注
专栏目录
订阅专栏
ICLR2023 | 阿卜杜拉国王科技大学最新发布，3D表示新网络：多视图+点云！
3D视觉工坊
08-04 319
作者：HT | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。多视图投影方法在 3D 分类和分割等 3D 理解任务上表现出了良好的性能。然而，目前尚不清楚如何将这种多视图方法与广泛使用的 3D 点云相结合。人类视觉系统更接近于使用多个视角的间接方法来理解3D物体，而不是直接处理3D数据...
3D点云初探：基于全卷积神经网络实现3D物体识别
zbp_12138的博客
10-24 2687
基于全卷积神经网络实现3D物体识别一、从2D图像识别到3D物体识别二、ModelNet10：3D CAD数据集1.存储格式2.读取方法3.点云可视化可视化工具plt可视化4.数据集定义三、模型组网与训练1.全卷积神经网络2.查看网络结构3.模型训练四、测试效果评估1.批量测试2.逐个测试五、总结与升华作者简介 在当今的计算机视觉系统中，2D图像识别技术已经相对成熟，但3D物体识别依然是一个关键但未被充分利用的领域。本文将围绕3D点云的物体识别展开叙述。 一、从2D图像识别到3D物体识别 二维图像是由一个个像
自动驾驶感知项目-基于多线激光雷达的小目标锥桶空间位置检测算法（ROS，C++，滤波）
最新发布
m0_46699649的博客
07-08 435
多线激光雷达在默认扫描频率下，每秒可以获取数十万个点云数据，锥桶道路环境下，大部分点云数据实际上是非目标锥桶的无效点云，在考虑硬件自身运行速率和算法效率的情况下，可以先对整体点云进行滤波处理，达到减轻计算量的效果。
SqueezeSeg基于循环CRF的卷积神经网络用于三维激光雷达点云的实时道路目标分割.pdf
07-18
SqueezeSeg点云目标识别的翻译版，虽然还存在一些翻译上的细节，但是相对于英文好多了。
激光雷达的三维点云目标检测+Ros
LepoLepo的博客
11-17 5750
一、基于pointpillar（前视数据集kitti可成功，全景激光雷达或许需要自己采集数据训练） 项目有很多，环境参照second-pytorch配置即可：https://github.com/traveller59/second.pytorch。 特别地，spconv环境要求苛刻，建议配置环境前，先参考spconv环境要求。 问题：运行时出现cannot import name 'rbbox_intersection' 或 'rbbox_iou'from 'spconv.utils'问题。 .
检测点云中的目标(ROS2 & Tao-PointPillars)
热门推荐
专注于人工智能领域的小何尚
10-02 1万+
实时准确的对象检测对于自主代理安全导航其环境是必要的。这篇文章展示了一个 ROS 2 节点，它可以使用预训练的 TAO-PointPillars 模型检测点云中的对象。（请注意，该模型的 TensorRT 引擎目前仅支持批量大小为 1。）该模型直接对激光雷达输入执行推理，这与使用基于图像的方法相比具有优势。为了对激光雷达数据进行推理，必须使用对来自同一激光雷达的数据进行训练的模型。否则准确性将显着下降，除非实施统计标准化等方法。
ROS点云的Pointpillars实时目标检测
weixin_43807148的博客
07-19 6346
ROS点云的Pointpillars实时目标检测
卷积神经网络—目标检测 学习笔记（下）
junex的博客
02-03 437
3.7 非极大值抑制（Non-max suppresion） 非极大值抑制，即只保留极大值（概率最大的预测结果）。 之前介绍的YOLO还存在的一个问题：同一个目标可能出现多个预测结果。如下图所示： 对于右边的汽车，会有三个网格认为中点落在了自己中，因而在显示结果时会出现三个预测边界框，这显然是不正确。通过使用非极大值抑制可以较好地解决该问题。 算法如下： 经过非极大值抑制后结
汇总！三维点云配准算法，包括4PCS、K-4PCS、SAC-IA、ICP、PCA、深度学习方法等
3D视觉工坊
07-10 642
作者：PCIPG-Jing | 来源：3DCV，投稿入口添加微信：cv3d007,备注：三维点云，拉你入群。文末附行业细分群。1 什么是点云配准点云配准指的是输入两幅点云 Ps (source) 和 Pt (target)，输出一个变换矩阵T（即旋转R和平移t）使得 T(Ps)和Pt的重合程度尽可能高。我们可以把点云想象成由无数个三维点组成的云彩，而点云配准就是要把这些云彩按照它们实际的位置和姿...
CVPR2023 l 新方法！自动驾驶中统一感知和预测的隐式占位流场！
3D视觉工坊
07-12 141
作者：呀哈哈 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。添加微信：cv3d007，备注：自动驾驶，拉你入群。文末附行业细分群。1 前言自动驾驶车辆必须能够感知周围环境并预测其他交通参与者的未来行为。现有的研究要么进行目标检测，然后对检测到的目标进行轨迹预测，要么对整个场景进行密集的占位和流格预测。前者存在安全问题，因为为了提高效率，需要保持较低的检测数量...
只要MLP就能实现的三维实例分割！
3D视觉工坊
09-26 166
作者：PCIPG-mach | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。摘要为三维点云实例分割提出了一个概念简单、通用性强的新框架。我们的方法被称为 3D-BoNet ，遵循每点多层感知器 (MLP) 的简单设计理念。该框架直接回归点云中所有实例的三维边界框(boundin...
全卷积实例分割实战
吴建明wujianming_110117
05-31 553
全卷积实例分割实战 Fully Convolutional Instance-aware Semantic Segmentation 介绍 FCIS是一个完全卷积的端到端解决方案，例如分割，它赢得了2016年COCO分割挑战赛的第一名。FCIS最初在CVPR 2017聚光灯文件中进行了描述。值得注意的是： FCIS提供了一个简单、快速、准确的实例分割框架。与MNC不同，FCIS同时联合进行实例掩码估计和分类，并估计类特定的掩码。没有利用掩模RCNN系统中的各种技术和技巧，例如增加R
点云目标识别深度网络
xiangzhihong8的专栏
02-23 1107
随着激光雷达传感器（“光检测和测距”的缩写，有时称为“激光扫描”，现在在一些最新的 iPhone 上可用）或 RGB-D 摄像头（一种 RGB-D 摄像头）的兴起，3D 数据变得越来越广泛。D 图像是标准 RGB 图像与其关联的“深度图”的组合，目前由 Kinect 或英特尔实感技术使用。3D 数据可以对传感器周围环境进行丰富的空间表示，并可应用于机器人、智能家居设备、无人驾驶汽车或医学成像。图片3D 数据可以采用多种格式：RGB-D 图像、多边形网格、体素、点云。
Apollo 6.0点云检测模型的训练, 基于TensorRT和ROS的推理
人生得意须尽欢
12-04 4330
Apollo6.0点云模型的训练, 基于ROS和TensorRT进行推理
３D目标检测论文汇总
自动驾驶小白
02-18 593
从经典到最新 1. 将点云投影为图片后做用深度学习做检测 [4] B. Li, T. Zhang, and T. Xia, “Vehicle detection from 3d lidar usingfully convolutional network,” inProceedings of Robotics: Science andSystems, AnnArbor, ...
目前最先进的目标检测能用于自动驾驶吗？这群德国人认真地做了个测评！
我爱计算机视觉
07-18 486
点击我爱计算机视觉标星，更快获取CVML新技术目标检测是自动驾驶技术的重要内容，确保上路安全，需要能够精准地检测出路面上所有目标。这不仅要求汽车感知系统在正常的外界环境工作正常，对于极端...
Apollo Lidar感知Cnn_seg原理
欧吼的CSDN
08-19 1929
高精地图ROI过滤器（HDMap ROI Filter） 参考博客 ROI（The Region of Interest）指定从高精地图检索到包含路面、路口的可驾驶区域。高精地图 ROI 过滤器（往下简称“过滤器”）处理在ROI之外的激光雷达点，去除背景对象，如路边建筑物和树木等，剩余的点云留待后续处理。 输入：激光雷达捕捉的3D点数据集 输出：由高精地图定义的ROI内的输入点索引 包括三步：1.坐标转换：Apollo将输入点云和HDMap多边形变换为来自激光雷达传感器位置的地方坐标系。 2.ROI LU
自动驾驶系统进阶与项目实战(六)基于ndt的自动驾驶高精度定位和ros项目实战_adams
08-17
自动驾驶系统进阶与项目实战(六)基于ndt的自动驾驶高精度定位和ROS项目实战是一个课程，主要讲授使用ndt（Normal Distributions Transform）实现自动驾驶车辆的高精度定位，并在ROS（Robot Operating System）平台上进行项目实战。 在自动驾驶技术中，高精度定位对于准确判断车辆当前位置和姿态非常重要。ndt是一种常用的激光点云匹配算法，可以利用车载传感器获取的激光雷达点云数据来进行定位。该课程将详细介绍ndt算法的原理和实现方法，并通过案例演示如何应用ndt算法进行车辆定位。 此外，该课程还将介绍ROS平台的基本原理和使用方法。ROS是一个开源的机器人操作系统，提供了丰富的功能和工具包，可以用于构建自动驾驶系统的各个组件。在课程中，学员将学习如何使用ROS开发环境，利用ROS提供的功能和工具包来搭建自动驾驶系统，并将ndt定位算法与ROS平台进行无缝集成。 通过该课程的学习，学员将获得基于ndt的高精度定位和ROS项目实战的实践经验。他们将了解到ndt算法在自动驾驶领域的应用，掌握ROS平台的使用方法，并能够将二者结合起来实现自动驾驶系统的高精度定位功能。此外，他们还能够通过实战项目，锻炼解决问题和团队合作的能力，提升在自动驾驶领域的技术水平。 总而言之，自动驾驶系统进阶与项目实战(六)基于ndt的自动驾驶高精度定位和ROS项目实战是一个提供ndt定位算法和ROS平台应用的课程，通过理论和实践相结合的方式，帮助学员掌握高精度定位和ROS项目实战的技能，为他们在自动驾驶领域的发展提供有力支持。
评论 85
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AdamShan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值