自动驾驶：Apollo感知模块

硬件配置

Apollo感知模块在硬件层面的配置如下：

• Lidar：
  128 线 LiDAR velodyne
  16 线 LiDAR (lidar_front, lidar_rear_left, lidar_rear_right)
• Radar：
  radar_front, radar_rear
• Camera：
  6mm Front
  12mm Front
• RTK&IMU
• IPC
  更加详细的信息可参考链接

Apollo的硬件架构图如下图所示：

软件设计

Apollo整体的软件架构图如下图所示：

Apollo感知模块包括障碍物检测识别、红绿灯检测识别和车道线检测三个部分。障碍物检测识别模块通过输入激光雷达点云数据和毫米波雷达数据，输出基于两种传感器的障碍物融合结果，包括障碍物的位置、形状、类别、速度、朝向等信息。红绿灯检测识别模块通过输入两种焦距下的相机图像数据，输出红绿灯的位置、颜色状态等信息。车道线检测基于相机的图像数据检测得到车道线的形状与位置。上述三大感知功能，使无人车具备在简单城市道路自动驾驶的能力。

障碍物检测识别

障碍物模块包括基于激光雷达点云数据的障碍物检测识别、基于毫米波雷达数据的障碍物检测识别、基于相机数据的障碍物检测识别以及基于多种传感器的障碍物结果融合。基于激光雷达点云数据的障碍物检测识别，通过线下训练的卷积神经网络模型，学习点云特征并预测障碍物的相关属性（比如前景物体概率、相对于物体中心的偏移量、物体高度等），并根据这些属性进行障碍物分割。基于毫米波雷达数据的障碍物检测识别，主要用来对毫米波雷达原始数据进行处理而得到障碍物结果。该算法主要进行了ID扩展、噪点去除、检测结果构建以及ROI过滤。基于相机数据的障碍物检测识别，主要基于smoke、caddn、yolo算法进行检测与识别，近期，百度也提出了基于bev环视融合的目标检测方法。多传感器障碍物结果融合算法，用于将上述三种传感器的障碍物结果进行有效融合。该算法主要进行了单传感器结果和融合结果的管理、匹配以及基于卡尔曼滤波的障碍物速度融合。
检测范围：【-74.88，-74.88，-2，74.88，74.88，4】
检测种类：【car、pedestrain、cyclist、unknown】

红绿灯检测识别

红绿灯模块根据自身的位置查找地图，可以获得前方红绿灯的坐标位置。通过标定参数，可以将红绿灯从世界坐标系投影到图像坐标系，从而完成相机的自适应选择切换。选定相机后，在投影区域外选取一个较大的感兴趣区域，在其中运行红绿灯检测来获得精确的红绿灯框位置，并根据此红绿灯框的位置进行红绿灯的颜色识别，得到红绿灯当前的状态。得到单帧的红绿灯状态后，通过时序的滤波矫正算法进一步确认红绿灯的最终状态。百度提出的基于深度学习（CNN）的红绿灯检测和识别算法具有极高的召回率和准确率，可以支持白天和夜晚的红绿灯检测识别。

车道线检测

基于相机数据对车辆前方的车道线进行识别与分割，获取道路上每条车道线的准确形状与位置。