感知是指自动驾驶系统从环境中收集信息并从中提取相关知识的过程。它负责估计汽车的状态,并使用车载传感器捕获的数据与车辆控制系统和决策单元进行交互,同时利用道路网络、交通规则、汽车动力学等的先验信息进行规划与控制车辆。通常包含环境感知和定位两部分,其中,环境感知(EnvironmentalPerception,EP)特指对于环境的场景理解能力,例如障碍物的类型、道路标志及标线、行人车辆的检测、交通信号等数据的语义分类。定位(Localization)是对感知结果的后处理,通过定位功能从而帮助自动车了解其相对于所处环境的位置。
激光雷达和相机的融合是实现行人检测的一种方法,它主要包括空间融合和时间融合。空间融合主要是指建立激光雷达坐标系到图像坐标系的坐标转换关系,该坐标转换关系能够将激光雷达坐标系中的点映射到图像坐标系中。时间融合主要是让各个传感器的输出处在同样的时间线上,以便于多传感器融合。
自动驾驶的传感器激光雷达和摄像头的测量感知如果存在误差,则对自动驾驶的定位精度有影响。激光雷达和摄像头联合标定一般用景颐光电棋盘格反射板进行校准定标,一般用5X5或者其他参数的的棋盘格反射板,景颐棋盘格漫反射板附带有滚轮支架,支架可以调节高度,旋转角度等。