自动驾驶技术与传感器数据处理

目录

自动驾驶总体架构

感知系统 

决策系统 

定位系统 

计算平台

仿真平台

自动驾驶公开数据集

激光点云

点云表征方式

1) 原始点云

2) 三维点云体素化

3)深度图

4)鸟瞰图

点云检测障碍物的步骤

PCL点云库 

点云数据集

车载毫米波雷达

车载相机

设备标定

---

自动驾驶总体架构

感知系统 

 

决策系统 

 

定位系统 

计算平台

仿真平台

 

自动驾驶公开数据集

激光点云

点云表征方式

1) 原始点云

三维点云最直接的矩阵表示法是将集合中的每个三维点列为矩阵中的一行
 
基于原始点元的表示法的优点是:
(1)简单且通用
(2)保留了原始三维点集中的所有信息;但缺点是它不利于探索三维点的任何几何特性

2) 三维点云体素化

简单的离散化方法是将三维空间从三个维度中的每一个划分为等距的非重叠体素； 分别沿X、Y、Z轴绘制一个范围为H、W、D的三维空间。每个体素的大小分别为h、w、d。第（i,j,k）个体素表示三维体素空间。

基于三维体素化的表示法的优点是：
（1）生成的体素与自然的层次结构相关联，所有体素具有统一的空间大小；
（2）可以使用现成的工具

缺点
（1）没有考虑有序三维点云的特定属性；
（2）通常导致一个非常稀疏的表示，其中大多数体素是空的
（3）涉及到分辨率和内存之间的权衡问题。该表示方法可用于自动驾驶感知模块，以及三维点云的存储
 

3)深度图

将实时激光的三维点云近似地组织成二维距离图像深度图像中的每个像素对应于三维空间中的一个点。像素值是从激光雷达到截锥体内最近的三维点的范围。具体地说我们用方位角α和俯仰角β的分辨率沿方位角α ε [0,2m)和俯仰角β ε (-π/2，π/2]划分三维空间。基于距离图像的表示法优点在于:
(1)能够自然地模拟了激光雷达捕捉三维点云的方式在王维空间中反射二维表面
(2)大多数相关的截面空间都有一个或多个三维点从而产生紧凑的距离视图图像

缺点:
很难对无组织的点云进行建模

4)鸟瞰图

基于鸟瞰图(BEV)的表示方法是一种通过忽略高度的方式来实现三维体素化的特例。它将3D体素投影到BEV图像;分别沿X、Y轴绘制一个范围为H、W的三维空间。每个像素的大小分别为h、w。BEV图像中的第(i,j)个像素表示空间V，使用二维矩阵表示三维点云。短阵记录了二维空间中的占有率。其优点是:
(1)易于应用基于2D视觉的技术;
(2)易于与来自HDmap的信息进行融合
(3)易于用于决策模块用于预测和运动规划。
(4)无论距离如何，物体对象总是相同的大小，这是一个很强的先验知识、使学习问题更容易

缺点:
(1)设计分辨率和内存之间的严重权衡，导致获取小对象详细信息的过度量化问题;
(2)不考虑有序三维点云的特定属性，并且无法解释遮挡现象
(3)导致稀疏性问题，因为大多数像素是空的。

点云检测障碍物的步骤

 

PCL点云库 

1.什么是PCL？

PCL全称为Point Cloud Library，是一个用于三维点云处理的开源库。它包含了从传感器或三维数据文件中检索三维点云的各种处理。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，且PCL是BSD授权方式，可以免费进行商业和学术应用，可在Windows、Linux、Mac OS X等操作系统中运行。

2.PCL的发展史        

PCL起初由ROS（Robot Operating System）下来自斯坦福大学的Radu博士等人维护和开发的开源项目，主要应用于机器人研究应用领域，随着算法模块的积累，与2011年独立出来，与全球3D信息获取、处理的同行一起组件了强大的开发维护团队，以多所知名大学、研究所和相关软硬件公司为主。PCL继续加入的算法等详情可见PCL官方网站。      

3.PCL的结构和内容        

对于3D点云处理来说，PCL完全是一个模块化的现代C++模板库，它基于一下第三方库：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、QHull,实现点云相关的获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。

点云数据集

车载毫米波雷达

利用毫米波雷达可以实现自适应巡航控制（Adaptive Cruise Control），前向防撞报警（Forward Collision Warning），盲点检测（Blind Spot Detection），辅助停车（Parking aid），辅助变道（Lane change assistant），自主巡航控制（ACC）等高级驾驶辅助系统（ADAS）功能。其中24GHz 雷达系统主要实现近距离探测（SRR），而77GHz 系统主要实现远距离的探测（LRR） 

车载相机

摄像头参数

• 像素

是由一个数字序列表示图像中的一个最小单位。

• 分辨率

分辨率是用于度量位图图像内数据量多少的一个参数，表示成dpi（DostPerInch,每英寸点或像素数）。它是衡量摄像头的一个重要指标之一，通常来说摄像头的分辨率越高，拍摄出来的图像品质越好

• 色域

色域是对一种颜色进行编码的方法，也指一个技术系统能够产生的颜色的总和。最常用的图像格式是RGB24和I420, RGB24代表红、绿、蓝三个通道的颜色，图像每个像素用8bit(比特位)表示，RGB24一帧的大小size=width*height*3byte(字节)；I420是YUV格式之一，YUV模型是根据一个亮度（Y分量）和两个色度（UV分量）来定义颜色空间。其数据量是size= width*height*1.5Byte(字节)

• 自动白平衡调节        

定义要求在不同色温环境下，照白色的物体，屏幕中的图像应也是白色的。色温表示光谱成分，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色（红、绿、蓝）的比例发生变化，需要调节三基色的比例达到彩色的平衡。 彩色深度 反映对色彩的识别能力和成像的色彩表现能力。常用色彩位数（bit）表示。彩色深度越高，获得的影像色彩就越艳丽动人。

• 信噪比或图像噪音
• 视场角
• 帧率

传统算法中，通过图像特征描述子SIFT、SURF等进行特征点提取和匹配，可用特征很多，包括角点、边缘点等

即输入摄像头的数据，以每帧信息为基础进行检测、分类、分割等计算，最后利用多帧信息进行目标跟踪，输出相关结果；

1）预处理包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作；

2）特征提取在预处理的基础上提取出图像中的特征点；

3）目标识别是基于特征数据的输出，对图像中的物体进行识别分类 —— 人 ，车 、交通标志等，运用到机器学习、神经网络等算法。

设备标定

标定，通常指的是校准过程，是一种测量精确度提高的方法。在技术和科学领域，标定涉及将一个设备或仪器的测量与一个已知的参考标准进行比较，并据此进行调整。这个过程确保测量设备在操作中可以达到预定的准确性和一致性。

传感器标定

相机标定

毫米波雷达标定

激光雷达标定