雷视融合硬件选型

简介

​ 在实际使用过程中，人们发现AI摄像头定位精度不高，且受天气和光照强度的影响较大。激光雷达对环境敏感度高，有机械转动部件、寿命和可靠性有影响。毫米波雷达横向精度较低，且无法精确区分目标类型。三者都有其局限性。

​ 基于这一现象，基于激光雷达与传感器融合的方案孕育而生，这两者的融合可以弥补各传感器的缺点，获得更高精度的感知结果。

传感器选型介绍：

摄像头：

解析力：

​ 其实解析力就是和摄像头的分辨率基本上是线性相关的，我们看一个摄像头的分辨率高不高，最重要的就是几百万像素的摄像头。摄像头解析力是指摄像头能够捕捉和显示图像的细节程度。它通常以像素（Pixel）为单位进行衡量，即图像的水平和垂直方向上的像素数量。解析力越高，摄像头能够捕捉到更多的细节，图像更加清晰。

​ 在自动驾驶领域中，摄像头的解析力对于感知和理解周围环境至关重要。较高的解析力可以提供更多的细节信息，帮助自动驾驶系统更准确地检测和识别道路标志、行人、车辆等物体，从而更好地做出决策和规划。

​ 然而在雷视融合中，并不是摄像头的解析力越大越好，更高的画质虽然意味着保留了更多的细节，都是也同时意味着加大了计算设备的算力需求和功耗需求，在自动驾驶领域或工业生产领域，用来计算的芯片往往是嵌入式的，算力低的同时功耗要求也很严格，即使选购了大解析力的相机，算法不能完全利用起来也造成了浪费。所以在雷视融合相机选型中，相机的解析力适配算力很关键。

水平/垂直视场：

​ 摄像头的水平视场（Horizontal Field of View，FOV）指的是摄像头能够水平范围内捕捉到的景物角度。垂直视场（Vertical Field of View，FOV)则表示摄像头能够垂直范围内捕捉到的景物角度。这两个参数决定了摄像头能够看到的景物范围。

​ 在雷视融合中，选择摄像头的水平和垂直视场需要根据周边环境、安全性要求、成本和处理需要等因素进行考虑。不同的环境可能需要不同的视场范围。例如，在智慧工地中，需要更广阔的视场范围，以便捕捉到更多的车辆、行人和物体。而在高速公路自动驾驶中，视场范围可以相对较窄，主要关注前方车辆和交通标识即可。更广阔的视场可以提供更多的信息，有助于准确感知和识别周围环境。在自动驾驶中，安全性是首要考虑因素，因此会选择具有较宽视场范围的摄像头可以提高系统的感知能力。摄像头的视场范围会影响图像分辨率和处理需求。较宽的视场范围意味着需要更多的像素来捕捉更多的景物，这可能增加系统的成本和处理复杂性。因此，需要在成本和性能之间进行权衡。一般在自动驾驶中会选择不同的摄像头视场组成多个摄像头分别完成不同的任务，在工业生产领域，安防中会选择宽广的视场来进行监控，在缺陷检测等需要选择窄视场来进行聚焦。

光圈：

​ 摄像头的光圈（Aperture）是指镜头的光线进入孔径的大小。它影响到摄像头的曝光和景深效果。光圈大小通常用一个称为F数的值来表示，例如F/1.8、F/2.8等。较小的F数表示光圈较大，光线进入的量更多，而较大的F数表示光圈较小，光线进入的量较少。

​ 选择摄像头的光圈需要考虑光线条件、快门速度、景深需求等因素。不同的光线条件下，选择适当的光圈大小可以确保图像的曝光合理。在较暗的环境中，较大的光圈可以让更多的光线进入，提高图像的亮度和清晰度。而在明亮的环境中，较小的光圈可以限制过度曝光，保持图像细节。光圈大小还会影响到摄像头的快门速度。较大的光圈可以提供更多的光线，使快门速度更快，减少运动模糊。这对于自动驾驶系统中需要快速感知和响应的场景非常重要。景深是指前后景物都能保持清晰的范围。较大的光圈会导致浅景深，即只有焦点附近的物体清晰，而其他物体模糊。较小的光圈则会产生较深的景深，使前后景物都能保持较好的清晰度。在自动驾驶中，对于感知周围环境和物体的清晰度要求较高，因此需要权衡景深和光圈大小之间的平衡。

焦距

​ 摄像头的焦距（Focal Length）是指从镜头到成像平面的距离，它决定了摄像头的视角和放大倍率。焦距越长，摄像头的视角越窄，被拍摄的物体越大；焦距越短，摄像头的视角越宽，被拍摄的物体越小。

​ 悬着摄像头焦距时需要考虑感知范围、识别目标和精度要求、成本和实时性要求等因素。摄像头的焦距决定了其视角的大小。较短的焦距提供宽广的视角，可以覆盖更大范围的道路和周围环境。这对于感知和识别前方和侧方的车辆、行人和交通标识非常重要。然而，较长的焦距可以提供更远距离的细节捕捉，适用于需要远距离检测和识别的场景。较长的焦距可以提供更大的放大倍率，有助于远距离目标的检测和识别。然而，较长的焦距可能会导致远距离目标的细节损失，因此需要在目标识别和精度要求之间进行权衡。较长焦距的摄像头通常更昂贵，并且可能需要更复杂的图像处理和传输。同时，较长焦距的摄像头在实时性方面可能会面临更大的挑战。因此，需要根据预算和系统要求来平衡焦距选择。

最大光学畸变：

​ 摄像头的最大光学畸变是指光学系统中可能出现的图像失真情况。光学畸变可分为径向畸变和切向畸变两种形式。

1. 径向畸变（Radial Distortion）：径向畸变是由于镜头形状或光线折射造成的。主要有桶形畸变（barrel distortion）和枕形畸变（pincushion distortion）两种形式。桶形畸变使图像中心的物体向外弯曲，而枕形畸变使图像中心的物体向内弯曲。

2. 切向畸变（Tangential Distortion）：切向畸变是由于镜头和成像平面之间不完全平行引起的。它会导致图像中的直线出现弯曲。

   

​ 理论上来说，摄像头视场角越大，最大光学畸变就会越大，一些厂家出厂时会自带畸变矫正软件，可以直接把畸变降到比较低的程度，建议选择具有较低最大光学畸变的摄像头，以确保图像的准确性和可靠性。最好参考摄像头制造商提供的技术规格和性能数据，以便评估光学畸变的程度和对系统的影响。

动态范围：

​ 摄像头的动态范围（Dynamic Range）是指摄像头能够捕捉和表示的亮度范围。它衡量了摄像头在同一图像中能够同时捕捉到最暗和最亮区域的能力。动态范围越大，摄像头能够捕捉到更广泛的亮度差异，提供更丰富的图像细节和更好的对比度。

​ 选择摄像头的动态范围需要考虑使用时的环境光照变化与其成本，例如在自动驾驶中，道路上的光照条件可能会不断变化，如进入或离开隧道、行驶在阴影区域等。选择具有较大动态范围的摄像头可以更好地适应这些光照变化，提供稳定和准确的图像信息。在明亮工作的工厂中则不需要选择高动态范围去识别物品。此外，还可以参考摄像头制造商提供的技术规格和性能数据，以便评估动态范围的大小和对系统的影响。

快门速度

​ 摄像头的快门速度（Shutter Speed）是指光线进入摄像头的时间间隔，也就是曝光时间。快门速度决定了摄像头在拍摄过程中对光线的敏感程度和图像的运动模糊程度。快门速度越快，图像运动模糊越少；快门速度越慢，图像运动模糊越多。

​ 在雷视融合摄像头选型中，选择摄像头的快门速度需要考虑载体运动状态、光照条件、帧率要求等因素。例如在自动驾驶车辆可能会以不同的速度行驶，快门速度的选择应该能够适应车辆的运动。较快的快门速度可以减少图像的模糊，更好地捕捉运动目标的细节。然而，过快的快门速度可能会导致图像过暗，影响目标的可见性。因此，需要根据车辆的运动速度权衡快门速度的选择。光照条件的变化会影响所需的快门速度。在光线较强的情况下，可以选择较快的快门速度，以避免图像过曝。而在光线较暗的情况下，可能需要选择较慢的快门速度，以增加光线进入摄像头的时间，提高图像的亮度。在一些应用场景通常需要实时的图像处理和分析。较快的快门速度可以提供更快的图像帧率，有助于实时感知和决策。然而，快门速度过快可能导致图像的信噪比下降，需要在实时性要求和图像质量之间进行权衡。

选型建议：

​ 在雷视融合相机选型中，还需要考虑其他条件，例如机身防水、时间同步的方式、与嵌入式芯片是否兼容、使用寿命等等，需要根据项目不同去斟酌选择。

​ 一般在摄像头选型的时候，我们会有以下几种方法：

​ 1、查找自动驾驶做的好的车企采用什么方案，但是基本差不多型号，或者买不到，车企通常有专门的供应商。

​ 2、参考数据集的相机，最著名的是KITTI数据集，但是过去十多年了，已经停产了。

​ 3、是查阅相同研究内容的论文，看看他们用的是什么相机。毕竟他们选型相机的时候也肯定进行过调研和分析。

​ 4、按照项目需求去选择相机。

激光雷达

架构与成像方式：

​ 激光雷达基本从测距方式、探测器、激光器、扫描方式的不同分为以下几种：

​ 激光雷达主要区分时来自于成像方式的不同：

​ 不同成像方式的激光雷达雷达形成的点云规律有所区别，所使用的算法也会有所差别。所以要多方面考量成本、需求、技术开发难度等各维来选择合适的激光雷达。

线束

​ 激光雷达的线束数量是指激光雷达同时发射的激光束的数量。不同的激光雷达可以具有不同数量的线束。线束数量的选择对应用的性能和功能具有重要影响。一般来说，线束越高的激光雷达往往有着更高的点云分辨率，更清晰的点云数量， 更密集的点云集。在点云的分类和分割中，往往点云的分辨率越密集，捕获到物体的特征就越多，就越容易进行识别分类，线束越多的激光雷达往往意味着更高昂的售价，所以要综合项目性能需求与价格，来选择合适的激光雷达线束数量。

FOV

​ 激光雷达的FOV（Field of View）指的是激光雷达在水平和垂直方向上能够覆盖的视野范围。FOV决定了激光雷达可以感知的空间范围和角度范围。水平方向上更大的FOV意味着更大的感知范围，360°的FOV可以进行全局感知。垂直方向上，在线束固定的情况下，更大的FOV意味着更大的感知范围，都是同时会丢失目标细节，也就是投影到目标的线束更小了。所以选择激光雷达的FOV时，需要综合考虑应用需求和环境条件，综合权衡项目需求、价格来选择合适的FOV。

角分辨率

角分辨率，表示两个相邻测距点的角度角分辨率大小决定了一次扫描能返回的样本点数以及该激光雷达所能检测的最小障碍物大小，比如2个激光光束相邻测距点的角度为0.4°，那么当探测距离为200m的时候，2个激光光束之间的距离为200m*tan0.4°≈1.4m。也就是说在200m之后，只能检测到高于1.4m的障碍物了。

探测距离

​ 激光雷达的探测距离是指激光雷达能够有效探测到的目标的最大距离。它是激光雷达性能的关键指标之一。通常激光雷达的探测距离与目标反射特性、环境条件、分辨率和精度有关。探测距离受目标的反射特性影响，目标的反射率、表面材质和颜色等因素会影响激光雷达的返回信号强度，从而影响探测距离。环境条件也会对探测距离产生影响。例如，大气湿度、雨、雾、灰尘等因素会对激光的传播和反射产生影响，从而减小探测距离。较远的探测距离可能会导致分辨率和精度的降低，因为激光雷达返回的信号可能较弱或噪声较多。这需要在选择探测距离时进行权衡。

​ 激光雷达的理论探测距离与实际探测距离往往会不一样，激光雷达标的探测距离往往指的是理论探测距离，因为激光雷达的特性，越远的点往往会越稀疏、精准度下降、噪声多，导致捕获回来的点云信息很难被利用。通常来说，200m的激光雷达在100m内会有92%的检测性能，在100m往后则会直线下降，这是在激光雷达选型的时候要注意的关键点。探测距离的选择往往要与实际场景、成本相结合，选择合适的探测距离。

出点数

​ 激光雷达的出点数是指激光雷达每秒钟发射的激光束数量，也称为点云密度或激光雷达的数据采样率。它表示激光雷达在空间上获取目标或环境信息的详细程度。激光雷达的点数一般从几万点至几十万点每秒左右。更高的点数代表着更丰富的目标细节，可以提升感知的准确率。

安全等级

​ 激光雷达的安全等级是指激光雷达系统对人体和环境的安全性评估等级。它涉及到激光雷达发射的激光束对人眼和皮肤的潜在危害。一般来说要看激光雷达的安全等级是否满足Class 1，需要考虑特定波长的激光产品在完全工作时间内的激光输出功率，即激光辐射的安全性是波长、输出功率，和激光辐射时间的综合作用的结果。

选型建议：

​ 在雷视融合激光雷达选型中，还需要考虑其他条件，例如机身防尘防水、时间同步的方式、与嵌入式芯片是否兼容、使用寿命等等，需要根据项目不同去斟酌选择。

​ 与相机选型类似，一般在激光雷达选型的时候，我们会有以下几种方法：

​ 1、查找自动驾驶做的好的车企采用什么方案。

​ 2、参考数据集的激光雷达，最著名的是KITTI数据集。

​ 3、是查阅相同研究内容的论文，看看他们用的是什么激光雷达。

​ 4、按照项目需求去选择激光雷达。

域控

域控需求

​ 雷视融合算法对处理芯片有一些特定需求，主要包括以下几个方面：

1. 计算性能：雷视融合算法通常需要处理大量的数据，包括雷达数据和视觉数据。处理芯片需要具备足够的计算性能，能够高效地执行算法的计算任务。这包括并行计算能力、浮点运算能力和高速缓存等。

2. 并行处理能力：雷视融合算法通常需要同时处理雷达和视觉传感器的数据，进行数据融合和目标识别等任务。处理芯片需要具备良好的并行处理能力，以便同时处理多个传感器的数据并执行多个算法模块的计算。

3. 实时性和低延迟：雷视融合算法通常应用于实时感知和决策系统，需要在实时性要求下进行数据处理和算法计算。处理芯片需要具备低延迟的特性，能够在短时间内完成算法计算并提供实时的结果输出。

4. 低功耗和能效：对于嵌入式应用，处理芯片需要具备低功耗和高能效的特点，以满足嵌入式系统对能量消耗的限制。这有助于延长设备的电池寿命，并降低设备热量产生和散热的需求。

5. 强大的通信接口：雷视融合算法通常需要与多个传感器、外部设备和通信网络进行数据交换和通信。处理芯片需要提供丰富的通信接口，如高速数据总线、以太网、USB等，以便与其他设备进行连接和数据交互。

   

​ 所以，一块拥有强大计算能力的同时满足以上需求的域控必不可少。英伟达（NVIDIA）的Orin NX套件是在雷视融合算法中比较合适的选择，下文就以Orin NX为域控进行讲解。

#### Orin NX 产品介绍

​ 英伟达（NVIDIA）的Orin NX套件是一款面向自动驾驶系统的硬件平台，用于提供高性能、高度集成的计算解决方案。以下是Orin NX套件的一般产品介绍：

​ NVIDIA Orin SoC： Orin NX套件的核心是NVIDIA Orin系统芯片（System-on-a-Chip），它是一款集成了GPU（图形处理器）和NVIDIA自家的DPU（深度学习加速器）的高性能芯片。该SoC专为自动驾驶应用而设计，提供卓越的计算能力和AI处理能力。

​ 高性能GPU： Orin NX套件的SoC中集成了NVIDIA的高性能GPU，用于处理图形计算和深度学习任务。高性能GPU具有众多的计算单元和并行处理架构，可以同时执行多个计算任务。GPU通常具有高性能的浮点运算能力，可以进行复杂的数学运算和信号处理。这些对于实时感知和决策非常关键，尤其是在自动驾驶系统中。

​ 深度学习加速器：Orin芯片内置的DPU是专门设计用于加速深度学习任务的硬件。DLA是一个特定应用的集成电路，能够有效地进行固定的操作，如卷积和池化，这在现代神经网络架构中是常见的。虽然 DLA 没有那么多支持层作为 GPU ，它仍然支持许多流行的神经网络架构中使用的各种层。这对于处理神经网络推理是至关重要的，尤其是在感知、目标检测和语义分割等领域。

​ 全面的软件支持： NVIDIA提供了丰富的软件套件，包括用于自动驾驶开发的NVIDIA DRIVE软件平台。这包括用于感知、定位、决策和控制的软件组件，以及支持开发者进行模型训练和优化的工具。

​ 丰富的接口和连接性： Orin NX套件提供了丰富的接口和连接性，以便与各种传感器、摄像头、雷达、激光雷达等硬件设备进行集成。这有助于构建全面感知的自动驾驶系统。

​ 高度集成的硬件设计： Orin NX套件采用了高度集成的硬件设计，有助于降低整体系统的功耗、体积和复杂性，同时提供卓越的性能。

Jetson Orin 算力对比

​ 可以根据项目的预算与需求合理选择域控。详细请查看硬件选型