3D目标检测常用传感器介绍

1.单目和立体摄像机

单目和立体相机提供对象的精确颜色、纹理和外观信息。单目相机通常用于2D CV应用。在3D物体检测中，它们的使用受到限制，因为它们缺乏深度信息，而深度信息对于理解周围环境至关重要。使用立体相机有助于解决深度信息的缺乏。产生成对图像的立体相机比单目相机提供更多的信息来推断深度。这导致基于立体的方法比基于单目的方法具有更好的检测性能。然而，实现立体相机的精确校准和同步更具挑战性。单目和立体相机的另一个缺点是它们在恶劣天气下表现很差，例如：雪，雨和雾。这些相机在夜间的低亮度和白天的极端亮度也很差。我们可以通过将它们与其他传感器融合来减少单目和立体相机的缺点。如，结合图像和LiDAR点云数据，通过使用来自相机的颜色和纹理信息以及来自LiDAR的3D数据来进一步增强目标检测。

2.深度相机

深度相机提供视觉数据（彩色图像）和深度信息，并利用各种技术来测量从相机到环境中的对象的距离。最常用的技术之一是飞行时间（ToF）。基于ToF技术的深度相机发射红外光脉冲，并测量这些脉冲传播到场景中的对象并返回相机所需的时间。通过计算发射的光返回到传感器所需的时间来测量到物体的距离。RGB-D相机，顾名思义，是一种深度相机，在单个设备中结合了RGB成像和深度信息。这种结合增强了对环境的空间理解。RGB-D相机额外的捕获深度信息被用作构建对象三维表示的基础。

3.热像仪

热成像摄像机检测红外能量，也称为热量，并将其转换为视觉图像。这些相机在夜间对低光照度非常鲁棒，因为它们不依赖于可见光。此外，热像仪在恶劣天气条件下（包括雾、烟或轻降水）也表现出稳健性。这些摄像机消耗更少的功率，因为它们不需要额外的照明源来捕获图像，使其节能。它们可以探测到热辐射，使它们能够识别隐藏的物体或个人。热成像相机的一个缺点是它们的分辨率低于传统相机。这可能使识别图像中较小的物体或特定细节更具挑战性。此外，热成像相机缺乏固有的深度信息，如单目相机，使其具有挑战性的感知三维物体。

4.激光雷达

激光雷达发射短激光能量脉冲，并测量发射和检测脉冲之间的时间以估计距离。传感器读数以一组称为点云的3D坐标给出，该点云提供每个点周围环境和强度水平的准确深度信息。与图像不同，点云是稀疏和非结构化的，但对不同的光照条件和恶劣天气更鲁棒。激光雷达可以探测到200米以上的物体，但随着距离的增加，物体上的点云中的点数量会减少。并且，它们通常不像单目相机那样提供精确的纹理信息。闪光激光雷达是一种固态激光雷达，它使用像标准数码相机一样的光学闪光操作来提供精确的纹理信息。通常，LiDAR系统中基于窄脉冲飞行时间（ToF）的光束转向可以分为三类：机械LiDAR，固态LiDAR 和半固态LiDAR。机械LiDAR通过高级光学器件和旋转组件具有360度视场（FOV），而固态LiDAR没有旋转的机械组件，这会降低FOV。由于机械LiDAR的这些变化，固态LiDAR通常更便宜。半固态LiDAR利用固态组件和机械元件来执行其功能。半固态结合了固态技术的优点，例如紧凑性，可靠性和机械LiDAR系统的优点，如范围和分辨率，使其性价比更高。LiDAR传感器的主要局限性是高昂的价格以及难以检测很近或远距离的物体。不过，固态LiDAR的量产可能会大幅降低价格。

5.雷达

雷达单元发射电磁波来测量多个物体的距离、速度和到达方向。大多数汽车雷达使用调频连续波（FMCW）调制技术，称为线性FMCW，以同时测量距离和速度估计。我们可以根据距离测量能力将汽车雷达分为短程（0.15—30 m），中程（1—100 m）和远程（10—250 m）。雷达可以利用相移直接测量物体的径向速度。雷达也比LiDAR更能适应光照和恶劣天气条件。尽管如此，它们的仰角分辨率与横向范围的角分辨率一样低，使得使用雷达对物体进行分类变得更加困难。雷达的另一个潜在缺点是与其他雷达或通信系统的信号干扰。

6.超声波传感器

超声波传感器发射高频声波来估计与物体的距离。由于其短距离物体检测能力，它们适用于低速操作，例如自动驾驶汽车的平行停车。超声波传感器的局限性在于恶劣的天气会影响这些传感器，例如温度和湿度。

7.总结

摄像机在分类、车道跟踪和标志识别任务中表现出色，但在测量速度、在恶劣天气条件下运行以及在夜视场景中表现不佳。相反，雷达（RADAR）在目标检测、速度测量、恶劣天气下的功能、夜视能力和距离估计方面表现突出，但在分类、车道跟踪和标志识别方面表现不佳。激光雷达（LiDAR）在物体检测、夜视应用和精确距离估计方面表现良好。自动驾驶汽车需要集成多个传感器，包括摄像头、雷达和激光雷达，以实现高级感知和完全自主。