AdamShan的博客

自动驾驶系统进阶与项目实战（十）基于PointPillars的点云三维目标检测和TensorRT实战（1）发表于CVPR2019的PointPillars是目前比较受业内认可的激光雷达三维检测算法，其推理速度和性能俱佳，百度Apollo和Autoware两个开源自动驾驶项目的感知系统均包含了基于PointPillars目标检测模块。本文首先从理论层面解析PointPillars方法，接着使用PyTorch和Kitti数据集从零开始训练一个神经网络，我们将使用kitti的测试数据推理并可视化检测结果。在下

无人驾驶汽车系统入门（三十二）——ROS2概述和实践入门（一）ROS可以说是目前机器人相关开源社区最流行的项目之一，它是一个易用且完备的机器人开发框架、生态乃至社区，海量的机器人开源项目（涵盖感知、规划、控制、定位、SLAM和建图、可视化等几乎所有机器人领域）均使用ROS作为基础。以自动驾驶汽车为代表的新的机器人应用场景对于中间层和开发框架在实时性、可靠性、伸缩性、跨平台可移植等方面提出了大量新的需求，ROS显然不能满足这些需求，ROS2因此产生，在经历了若干年的迭代后，ROS2项目目前已经相对完备和稳

自动驾驶系统进阶与项目实战（九）基于行锚框和全局信息的深度学习车道线检测方法目前多数基于深度学习的车道线检测方法通常把车道线的识别问题处理为车道线像素分割问题，单纯的像素级语义分割模型的推理的实时性相对较差。人类对于车道线的感知通常基于上下文和全局信息，所以即使有其他障碍物对车道线造成大面积的遮挡，人依然能够理解车道线及其走向。本文介绍一种基于行锚框和全局信息的深度学习车道线分割方法，由于使用行锚框对车道线检测任务进行建模，该方法具有很高的实时性和不错的性能，本文将实践其基于Pytorch的模型训练和测

无人驾驶汽车系统入门（三十一）——点云分割和聚类算法详解本篇详细讲解点云处理中的基本分割和聚类的算法原理。Lidar基本常识lidar的分辨率要高于radar，但是radar可以直接测量目标的速度。通过融合两者，可以获得对目标较好的位置和速度估计。激光雷达坐标系：右手法则，大拇指朝上为z，食指朝前为x，中指朝左为y, lidar的解析度很大程度上取决于线数，其解析度指标分为横向解析度和纵向解析度，横向解析度即一条激光束扫描一圈（360度）的反射点的数量，作为参考，Velodyne的16线激光雷达

自动驾驶系统进阶与项目实战（八）面向自动驾驶的高精度地图框架解析和实战前面聊了一些如何制作较大规模的点云地图以及如何使用点云地图进行定位的方法，点云图是高精度地图的一部分，主要用于配准定位和作为高精度地图构建环节中的几何图层（能够反应路面几何结构和大量有效信息），产品形态的高精度地图通常为包含大量交通要素语义和坐标信息的矢量地图，如何定义、构造这种面向自动驾驶业务的矢量地图，目前行业并没有通用的标准（OpenDrive并不是为自动驾驶设计的），Autoware自动驾驶系统的矢量地图和地图引擎计划使用La

自动驾驶系统进阶与项目实战（七）基于PolarNet的点云端到端语义分割和项目实战基于深度学习的激光雷达点云语义分割是目前自动驾驶领域的热门研究方向，前面的文章中我们介绍过了SqueezeSeg和百度cnn seg点云语义分割方法，其中cnn seg被应用于百度Apollo以及Autoware两个开源的自动驾驶系统，在Apollo和Autoware中，点云语义分割模块都占据了障碍物感知比较大的权重。本文我将详细解读点云语义分割领域最新方法——PolarNet，该方法发表于CVPR2020，是目前该领域最

自动驾驶系统进阶与项目实战（六）基于NDT的自动驾驶高精度定位和ROS项目实战对于高级自动驾驶系统而言，定位模块通常会融合IMU、轮速计（车辆底盘）以及激光雷达odometry多种测量，使用滤波算法（EKF、UKF等）以获得平滑、厘米级别的绝对定位，其中基于高精度点云地图和激光雷达的配准定位（Lidar Odometry）因其精度高、可靠性好，在整个融合定位中通常占很大的权重，是自动驾驶定位系统中相对可靠的“绝对定位”数据来源，本文我们学习如何使用NDT配准实现自动驾驶汽车的高精度定位，并且结合前面文章

自动驾驶系统进阶与项目实战（五）使用SC-LEGO-LOAM进行较大规模点云地图构建和闭环优化高精度地图和高精度定位目前仍然是L4及以上自动驾驶系统的核心模块之一，成熟的传感器融合定位方法高度依赖高精度地图，L4级自动驾驶系统中，我们所说的高精度地图通常包含两类地图：语义地图（也称为矢量地图）和点云地图，语义地图也就是自动驾驶感知规划重度依赖的地图，包含了大量的路网和交通静态信息，是结构化数据；点云地图，通常为定位模块中的雷达配准定位所使用，是高精度定位的基础，存储类型为非结构化的传感器数据，点云地图本

自动驾驶系统进阶与项目实战（四）自动驾驶高精度地图构建中的三维场景识别和闭环检测闭环检测（loop-closure detection）是SLAM中非常关键的一部分，当然也是自动驾驶高精度地图（HD Map）构建的核心技术之一，闭环检测即无人车能够识别出SLAM构图过程中形成的闭环，从而优化由观测（lidar slam、imu、车辆can、gnss等算出的里程计）累计的误差，使得SLAM地图在闭环的“缝合处”能够准确对接、在同一路段的重复测量（主要是激光点云、图像等）能够准确拟合。显然闭环检测对于大面积

自动驾驶系统进阶与项目实战（三）基于全卷积神经网络的点云三维目标检测和ROS实战前面入门系列的文章中我介绍了几种点云三维分割/目标检测模型，在做点云预处理上，有通过球面投射（SqueezeNet）得到深度图的，也有采用Voxel网格的（VoxelNet），本文我们一起学习一下百度开源的cnn_seg点云三维语义分割神经网络，该模型被集成于Apollo的perception模块，并且自Apollo 3.0开始一直是Apollo体系下用于障碍物检测的主力模型，在Apollo 5.0以后甚至release出了

激光雷达是目前自动驾驶系统中的核心传感器之一，但是由于其信息密度低、存在垂直盲区等问题，厂商大多在其L4级自动驾驶系统中搭配多组激光雷达，下图为通用（Cruise）的自动驾驶汽车，采用了多激光雷达以弥补lidar+camera的不足，使用多激光雷达进行环境感知的前提是对各雷达的外参进行精准的标定，本文介绍一种基于NDT算法的自动多激光雷达标定技术，并且给出了代码实例以及测试数据（rosbag）供读者实践。

通常而言，激光雷达和相机固定安装于无人车上，其相对关系一定，获得准确的齐次变换矩阵或者 $(x,y,z,roll,pitch,yaw)$ 变化量即完成了传感器的外参标定。然而，无人车安装的传感器数量较多，高效且自动化地完成多传感器标定对于自动驾驶研发而言非常关键，本文介绍一种自动化标定相机-激光雷达的方法，并且给出了相对完整的ROS实现以供读者参考。

无人驾驶汽车系统入门（三十）——基于深度神经网络LaneNet的车道线检测及ROS实现前面的博文介绍了基于传统视觉的车道线检测方法，传统视觉车道线检测方法主要分为提取特征、车道像素聚类和车道线多项式拟合三个步骤。然而，无论是颜色特征还是梯度特征，人为设计的特征阈值存在鲁棒性差的问题，深度学习方法为车道线的检测带来了高鲁棒性的解决思路，在近年来逐步替代了传统视觉方法，本文介绍一种用于车道线检测的...

本文将解决如何使用TensorFlow Object Detection API训练交通信号灯检测网络，使用Lisa数据集，通过简单脚本将数据集整理为tf record格式，我们将分别在本地的GPU和Google Cloud提供的TPU上进行训练，最后导出网络的protocbuf权重，在jupyter notebook中进行模型验证。首先感谢谷歌TensorFlow Research Clo...

无人驾驶汽车系统入门（二十八）——基于VoxelNet的激光雷达点云车辆检测及ROS实现前文我们提到使用SqueezeSeg进行了三维点云的分割，由于采用的是SqueezeNet作为特征提取网络，该方法的处理速度相当迅速（在单GPU加速的情况下可达到100FPS以上的效率），然而，该方法存在如下的问题：第一，虽然采用了CRF改进边界模糊的问题，但是从实践结果来看，其分割的精度仍然偏低；第二，该...

无人驾驶汽车系统入门（二十八）——基于VoxelNet的激光雷达点云车辆检测及ROS实现前文我们提到使用SqueezeSeg进行了三维点云的分割，由于采用的是SqueezeNet作为特征提取网络，该方法的处理速度相当迅速（在单GPU加速的情况下可达到100FPS以上的效率），然而，该方法存在如下的问题：第一，虽然采用了CRF改进边界模糊的问题，但是从实践结果来看，其分割的精度仍然偏低；第二，该...

无人驾驶汽车系统入门（二十七）——基于地面平面拟合的激光雷达地面分割方法和ROS实现在博客的第二十四篇中，我们介绍了一种基于射线的地面过滤方法，此方法能够很好的完成地面分割，但是存在几点不足：第一，存在少量噪点，不能彻底过滤出地面;第二，非地面的点容易被错误分类，造成非地面点缺失;第三，对于目标接近激光雷达盲区的情况，会出现误分割，即将非地面点云分割为地面。通过本文我们一起学习一种新的地面分割...

无人驾驶汽车系统入门（二十六）——基于深度学习的实时激光雷达点云目标检测及ROS实现在前两篇文章中，我们使用PCL实现了在点云中对地面的过滤和点云的分割聚类，通常来说，在这两步以后我们将对分割出来的对象进行特征提取，紧接着我们训练一个分类器实现对这些对象的分类，这是一种基于激光雷达的目标检测方法。近年来，随着深度学习在图像视觉领域的发展，一类基于单纯的深度学习模型的点云目标检测方法被提出和应用...

无人驾驶汽车系统入门（二十五）——基于欧几里德聚类的激光雷达点云分割及ROS实现上一篇文章中我们介绍了一种基于射线坡度阈值的地面分割方法，并且我们使用pcl_ros实现了一个简单的节点，在完成了点云的地面分割以后，为了使用激光雷达完成环境感知，我们通常会对非地面点云进行进一步的分割，换句话说，我们希望对地面以上的障碍物的点云进行聚类，通过聚类，我们可以检测出障碍物的边缘，并且使用3维的Boun...