激光雷达lidar目前的技术难点在哪，关键技术都有哪些

激光雷达lidar目前的技术难点在哪，关键技术都有哪些

评价一款激光雷达的优劣，除了基本性能指标（例如测距，角度分辨率，点云密度等）之外，++更重要的是点云的++++鲁棒性++++，即在不同使用环境下，点云性能的稳定性，以及点云的误报和漏报。++

本文尝试总结一下激光雷达点云异常场景、原因和一般应对方案，期望能够对Lidar产品更好的开发和应用，提供一点帮助。

这些异常场景主要包括：高反“鬼影”、高反“膨胀”、点云粘连、吸点、雨雾、粉尘和雪干扰、内部串扰（Crosstalk）、光干扰、外部雷达干扰、电磁干扰、地面积水干扰等等。

附赠自动驾驶最全的学习资料和量产经验：链接

01. 目标处理局限

1. 高反“鬼影”

++1）现象++

有些物体在激光雷达的视场内，在真实位置之外，生成了一个或者多个和该目标大小和形状类似的虚假目标（“鬼影”）。

尤其是具备高反射率的物体，这种现象最为常见，例如：交通指示牌、锥桶、三角指示牌、汽车牌照，尾灯等。

例如，路边指示牌的“鬼影”：

图片来源：速腾聚创

道路上方指示牌的“鬼影”：

图片来源：网络

路边指示牌的“鬼影”：

图片来源：https://www.zhihu.com/question/59025491/answer/2470008561

++2）原因和解决方案++

主要原因是多径效应，激光在传输路径中发生了多次反射。

2. 高反“膨胀”

++1）现象++

激光扫描到高反射率的目标物表面后，点云图像会出现向四周扩散的现象，使得原有的目标物点云图像显得更大，看起来像目标发生了“膨胀”。

“膨胀”多出来的点云一般出现在高反射率物体边缘，其反射强度也更低。如下图所示：

图片来源：速腾聚创

再例如一些高反的细杆，由于发生了“膨胀”，在雷达的视场内，变成了一个“球”。

图片来源：https://www.zhihu.com/question/59025491/answer/2470008561

有的时候，高反目标没有发生严重的“膨胀”，但是在周围出现了大量噪声，如下所示：

图片来源：网络

++2）原因++

当有高反目标时，激光雷达的感光单元产生的热载流子溢出，发射出近红外串扰光子，这些光子溢出至其周围的感光单元时，周围的感光单元因此受到影响。（“内部串扰”的发生机理和解决方案请参考本文后面第02章节）

该过程类似于使用相机拍摄明亮的天空时，树叶或树枝边缘发生“高光溢出”，使得树枝细节不可见。

图片来源：网络

++3）解决方法++

1. 提升感光芯片的动态范围，减少热载流子溢出概率；

2. 增加通道间的隔离措施，或者增加“高光溢出保护”（anti-blooming gates）功能，吸收溢出的电荷，减少溢出电荷对附近象素的滋扰。

3. 根据“膨胀”噪声的特点，根据反射率、形状和位置等信息，通过软件信号处理的方法进行滤除。

没有“膨胀”的正常标志牌：

图片来源：速腾聚创

3. 点云粘连

++1）现象++

激光雷达点云粘连，也被称为**“拖点”**，表现为两个相距较近的目标之间，出现了连接两个目标的虚假点云，该现象在近距离的复杂场景下比较常见。

例如，下图中，两个反射板之间出现了点云粘连：

图片来源：网络

一个行人和后面目标之间，出现点云粘连：

图片来源：网络

++2）原因++

dToF激光雷达通过发射激光脉冲进行距离的测量，激光脉冲存在一定的发散角，激光束的光斑尺寸会随距离的增加而增大，当激光束同时打到前后两个相距较近物体边界时，会同时产生前后两个反射回波。

但由于两个物体相隔较近，前后两个回波在时间维度上会叠加在一起，从而会出现一个介于两个物体之间的虚假点，即“粘连点云”。

发散角越大，则越容易在两个物体中间形成虚假点，有时遇到斑马线或者棋盘格这种高低相隔的物体时，甚至会检测出来“波浪线”。

++3）应对方案++

• 选择发散角更小的激光器

VCSEL激光器的发散角一般比EEL激光器的更小，这也是VCSEL激光器成为905nm激光雷达主流方案的原因之一。

图片来源：网络

1550nm光纤激光器的发散角通常比905nm激光器更小，因此，在激光发散角这个角度，1550nm激光器对“粘连点云”的抑制，以及远距离小物体的检测有更大的优势。

• 去粘连算法

结合基于底层物理信号和点云层特征的算法，识别粘连点云，并进行去除。

图片来源：网络

4. 吸点和空洞

++1）现象++

激光雷达在探测近距离物体时，出现的测距不准（“吸点”）或者完全消失（“空洞”）。

例如，近距离目标出现吸点现象的点云：

图片来源：网络

++2）原因++

物体进入了激光雷达的距离盲区。激光雷达感知单元接收两个激光脉冲存在一个最短时间，如果目标距离过近，激光的飞行时间小于该最短时间，该物体的脉冲回波将难以被探测到，从而导致近距离物体测距不准后者无法探测。

长距激光雷达的盲区通常在0.5~1m。

通过提升激光雷达探测器的软硬件性能，尽量缩短盲区距离。不过，受限于物理原理的极限，盲区不可能完全消除，应用算法不应当使用过近距离的点云数据。

02. 干扰

1. ++雨雾干扰++

++1）现象++

当雨量不大时，在雷达视场内会出现大量噪声点云，同时，激光雷达的测距性能发生衰减。如下图所示，下雨导致了大量噪点（白色点）：

图片来源：Chiyu Zhang, Ji Han等《Detecting the Anomalies in LiDAR Pointcloud》

当大雨或者暴雨时，点云密度和测距范围大幅下降，点云基本无法反映有效目标：

图片来源：Chiyu Zhang, Ji Han等《Detecting the Anomalies in LiDAR Pointcloud》

雾的影响和雨水类似。一般来说，在雾天不严重的情况下，如轻雾（能见度为1km-10km），雾天并不会明显影响激光雷达点云。但是，当雾天能见度越来越低后，激光点云的透过率会下降，雷达视场内出现大量噪点（如下图白色点）。

图片来源：Chiyu Zhang, Ji Han等《Detecting the Anomalies in LiDAR Pointcloud》

轻雾和浓雾时，对于点云的影响对比：

图片来源：《Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey》

++2）原因++

激光雷达光束打到雨滴或者雾滴上，激光发生反射和吸收，造成点云的异常增加或者点云的消失。

++3）应对方案++

• 波形识别方法

通过反射特性（反射率、方向、强度）、尺寸、形状等特征来识别目标，通过记录目标波形，来识别被检测目标是否是雾或者浓烟，以进行滤除。

• 多回波技术

激光雷达光束打到一些物体上会发生透射，透射的光再遇到物体还会发生反射，这样激光雷达发射一束光可以接收到多次反射光，采用相应的算法对多次发射光进行处理，就是多回波技术。

如果在雨雾环境中，激光可以穿透雨雾，最后打到障碍物上并反射，采用最后一次回波就可以把雨雾滤除掉。

++不过，多次回波的作用是只用于较小的雨雾，如果雨雾很大，导致激光完全无法穿透雨雾，则依然无法有效检测。++

目前市面上的激光雷达通常会支持单回波与双回波两种模式。

• 单回波模式：一般有两种选择，即“最后回波”或者“最强回波”。“最后回波”是指雷达只输出最远的一个回波；“最强回波”是只输出最强的一个回波。

• 双回波模式：通常是“最后回波”和“最强回波”，也可能有别的模式。开启双回波的激光雷达点云密度通常是单回波的2倍。

• 905nm激光技术

下图是不同波长的激光雷达去水系数谱（Water extinction coefficient spectrum）：

图片来源：Yuxiao Zhanga等，《Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey》

相对于905nm的激光，1550nm的激光更容易被水雾吸收。

正是由于该特性，1550nm激光对人眼安全影响更小（激光还没有打到视网膜，就被眼球里面的水给吸收了）。但是同时，1550nm激光雷达在雨天的表现，一般会比905nm激光雷达要差一些。

• Flash激光雷达

对于线扫描激光雷达来说，发射光是一个细小的光束，对于光束的路径上的雨滴等颗粒比较敏感，容易形成噪点。

Flash激光雷达发射面阵激光，雨雾颗粒只反射一小部分激光，通过滤波算法，可以较为容易将雨滴、灰尘颗粒等的噪点滤除掉。

图片来源：网络

2. 粉尘和雪干扰

++1）现象和原因++

粉尘和雪是固体，比雨雾更容易反射激光，从而形成更为明显的噪点。

++2）解决方案++

主要是使用去噪算法，进行滤除。主要分为点云滤波算法、波形识别算法、以及基于深度学习的去噪算法。

1. 点云滤波算法常见的有体素滤波、高斯滤波、双边滤波等方法，但是在对于一些特定场景下的点云噪声，这些传统算法往往起不了太大效果。

2. 波形识别算法（和雨雾处理类似），主要是依据经验，分析噪声点云出现的方位、反射率的大小，通过这些信息设置阈值过滤点云。

3. 目前基于深度学习的去噪方法也越来越受到大家重视。通过开发基于语义信息的噪声滤除网络，例如基于体素的CNN方法、CycleGANs等等，具体可参考：Mariella Dreissig等，《Survey on LiDAR Perception in Adverse Weather Conditions》。

基于CNN 的点云去噪网络的效果如下：

图片来源：CNN-based Lidar Point Cloud De-Noising in Adverse Weather， https://github.com/rheinzler/PointCloudDeNoising

3. 内部串扰（Crosstalk）

++1）现象++

在薄膜晶体管液晶显示器中，通常将串扰定义为整个屏幕中某一区域的显示会受到另一区域的影响，而造成画面失真的一种显示异常的现象。

如下图所示，黑色方块的上下区域的亮度，被黑色方块影响：

图片来源：网络

类似的，在激光雷达中，接收阵列中的一个雪崩事件在像素内触发时，大量的雪崩热载流子溢出，发射出900-1700nm波长范围内的近红外串扰光子。这些串扰光子直接或者间接的被相邻的像素检测到，从而导致串扰。如下图所示（接收阵列以SPAD为例）：

图片参考：《High crosstalk suppression in InGaAsInP single-photon avalanche diode arrays by carrier extraction structure》

串扰会降低信噪比(SNR)，并降低成像的空间分辨率。

串扰强度随着像素间距的减小而增大，从而限制了SPAD阵列可达到的像素密度。

++2）解决方案++

一般情况下，通常采用在相邻像素间刻蚀隔离沟槽，以及串扰滤波层和背面金属化，来阻断串扰光子的传输链路。

利用聚焦离子束（FIB）蚀刻和铂填充沟槽的方法可以抑制最近相邻像素间60%的串扰。不过引入的刻蚀，以及倍增区的暴露侧壁和分离损伤，会降低接收器件的可靠性、稳定性，同时还可能会增加暗电流，从而导致高的暗计数率（DCR）。

中科院杨晓红研究员团队在InGaAs/InP单光子雪崩二极管阵列串扰抑制领域取得进展，研究成果以“载流子抽取结构在InGaAs/InP单光子雪崩二极管阵列中的高串扰抑制（High crosstalk suppression in InGaAs/InP single-photon avalanche diode arrays by carrier extraction structure）”为题，近期发表于《自然•通讯》上。论文链接：https://www.nature.com/articles/s41467-023-43341-9

他们提出一种在平面InGaAs/InP SPAD阵列中实现高串扰抑制的载流子提取结构(CES)。这个CES是p掺杂通道，通过引导光产生的串扰孔到表面来隔离像素，而不是阻挡光路。

在该工作中，研究团队提出了一种基于电场疏导的载流子抽取结构，在未引入任何刻蚀损伤的前提下实现了大于90%的高效串扰抑制。该载流子抽取结构分布在阵列非像素区域，通过该结构以电场引导的方式将非像素区域的串扰光生载流子抽离有源工作区，实现了阵列像素间串扰和本征噪声的降低，同时还保持了平面型器件的高可靠性和高稳定性。

如下所示：

图片来源：《High crosstalk suppression in InGaAsInP single-photon avalanche diode arrays by carrier extraction structure》

结果表明，在间距为100/50μm的阵列中，由于对光电串扰的强烈抑制，串扰抑制效果超过90%。通过减小像素与电子束之间的距离，可以实现更好的串扰抑制。当距离大于12 μm时，即使施加0V的偏置电压，也能有效地抑制串扰。随着距离的减小，需要在CES上施加更高的反向偏置电压，以保证像素和CES独立工作。

图片来源：《High crosstalk suppression in InGaAsInP single-photon avalanche diode arrays by carrier extraction structure》

研究团队在理论和实验上验证了该结构的串扰抑制效果，在100 / 50 μm间距的像素中实现了91.52% / 96.22%的串扰抑制效果，为发展低串扰的大规格、高像素密度单光子雪崩二极管阵列提供一种新的解决思路。

除了上面方法之外，还可以考虑通过软件的方法，将激光的发射和接收在空间上相互错开，即不同激光器之间发射的空间范围不一样，或者是时间上错开，来降低串扰的问题。

4. 光干扰

++1）现象++

在有强光照射时，激光雷达的测量距离和点云数量大幅减少。

在下图的实验中，车辆位于距离氙灯光源40m处，峰值照度为200 klx。此时，人体模型上仅有4个点(青色框)，反射板仅有3个点(品红框)，黑色车辆有10个点(绿色框)。

作为对比，热像仪可以较为清楚的检测行人和车辆目标。

图片来源：网络

++2）原因++

日光是连续谱，几乎涵盖了所有激光雷达的工作波长，强烈的阳光入射会导致多个SPAD单元饱和，并且在恢复初始状态前都无法吸收光子，因而有可能漏掉真正的反射信号。

所以在强烈的日光下，使用 SPAD/SiPM 的激光雷达经常会出现探测距离明显下降或者目标点云稀疏的问题。

图片来源：中信证券

虽然目前已有一些算法进行日光干扰的处理，但往往效果并不完美，有时还会引入额外噪声。

FMCW激光雷达可以较好的抑制光干扰，具体可见文章《1.5万字初探：车载激光雷达的终极形态——FMCW激光雷达的原理、优势、方案和玩家 》

图片来源：Aeva

5. 外部雷达干扰

++1）现象和原因++

当有多个激光雷达相距较近时，不同雷达发射和接受脉冲容易相互干扰，从而出现干扰点云。该现象对于采用dToF体制的激光雷达更容易出现。

++2）解决方案++

1. 采用光随机编码，通过校验分辨干扰信号，从而滤除错误数据。其他还包括增加滤光片，偏光片，调光俯仰角，分时收发，调节占空比等等方法，也都可以降低被干扰的概率。

2. 比较能彻底解决激光雷达间干扰的技术是激光相干技术，即FMCW激光雷达。相干激光雷达采用回波与本征光相互干涉来检测回波，环境中其他光（包括太阳光，其他激光雷达的光）很难与本征光产生干涉，也就不会被检测到，不容易产生噪点。

6. 电磁干扰

当自动驾驶车辆经过一些特定区域时，如机场、发电站等，这些区域也会产生电磁波的干扰。如果激光雷达的防电磁干扰措施做得不够时，会产生由于电磁辐射导致的噪点。

例如下图中的白色噪点：

图片来源：网络

较强的电磁信号在透射进入激光雷达内部后，对整个电路或者接收端的器件形成电压变化，影响了激光雷达内部的正常工作。尤其是，激光雷达接收器的灵敏度非常高，非常容易受到电磁信号的干扰。

这种噪点很难通过滤波算法来处理，需要通过提升激光雷达硬件的电磁屏蔽性能，来进行抑制。

03. 其他

1. 地面积水

地面积水时，导致点云消失，以及车辆在积水旁边，发生镜面反射。

图片来源：网络

2. 雨雪覆盖、脏污

有异物（例如冰雪、泥水、鸟粪和飞虫等）覆盖在雷达表面，导致雷达视场角受限，引起点云质量下降。

通过增加激光雷达清洗装置（水或者超声波）或者加热装置，清洗或者融化表面异物，这些方法可有效去除飞溅物、污垢、雾凝结等等。

3. Lidar故障

当Lidar内部收发机构发生故障时，由于数据错误，导致出现大量噪点：

图片来源：网络

04. 融合方案弥补激光雷达不足

1. 感知融合

采用感知融合是弥补激光雷达不足的有效方法。例如，毫米波穿透雨雾、灰尘的能力很强，几乎不受雨雾、灰尘的影响。将毫米波雷达的识别结果与激光雷达的识别结果进行融合，也可以有效滤除雨雾、灰尘造成的误识别。

几种常用传感器应对复杂场景的特点如下：

Yuxiao Zhanga等，《Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey》

不同传感器在不同特殊场景下的影响程度：

Yuxiao Zhanga等，《Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey》其中：0 - 可忽略：几乎可以忽略的影响；1 - 轻微：几乎不会导致检测错误的影响；2 - 轻微：在特殊场合造成小错误的影响；3 - 中等：影响导致感知错误高达 30% 的时间；4 - 严重：影

2. 地图和定位融合

除了传感融合之外，还可以融合地图、定位等信息，进一步提升对特殊场景下的感知弱势场景进行应对。例如，下图展示了一种不受恶劣天气影响的自动驾驶汽车架构。

图片来源：《Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey》

其中：红色块表示与天气相关的模块，蓝色箭头表示天气与感知和传感模块之间的关系，灰色箭头表示ADS模块之间的关系，包括风和湿路面等外部天气因素。