Automatic non-rigid registration of multi-strip point clouds from mobile laser scanning systems

本文由CSDN点云侠原创原文链接。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫。

摘要：配备精确的全球导航卫星系统(GNSS)和惯性测量单元(IMU)定位装置的移动激光扫描(MLS)系统由于其安全性和三维空间数据收集的高性能，正在越来越多地用于制作高精度驾驶地图。在实际应用中，GNSS信号可能会被树木或建筑物等遮挡，IMU的误差会随着时间的推移而累积，导致前后扫描的点云之间或多次漂移之间的分米级到亚米级不等的失调。在本文中，我们提出了一种新的时变模型和一种自动对齐多条带MLS点云的方法。我们的方法分为三个关键步骤:预处理获得代表性点，两步迭代最近点配准获得对应关系，时变误差估计和点云校正。我们使用城市道路和高速公路环境扫描的测试数据验证了该解决方案。实验结果表明，点云的精度得到了显著提高，均方根误差在4 ~ 5 cm左右。

1. 引言

  移动激光扫描(MLS)提供了一种安全、准确、省时的方式来收集3D数据。安装在车辆平台上的MLS系统正越来越多地用于许多与交通相关的应用，特别是道路信息库存(Guan等，2016;Sairam, Nagarajan, and Ornitz 2016)以及为智能驾驶制作高精度驾驶地图(Yang et al . 2016)。还有一些其他或潜在的应用，如间隙测量(Mikrut等人)停车场监测(Xiao et al . 2016)、森林清查(Bauwens et al . 2016)、电力线调查(Cheng et al . 2014)等。为了支持这些应用，过去几年提出了大量的数据处理算法，包括路面和边缘提取(Rodríguez-Cuenca et al . 2016;Yang, Fang, and Li 2013a)，道路标记和裂缝提取(Guan et al . 2015;Yan et al . 2016)，类极点对象提取(Teo and Chiu 2015;Yadav et al . 2016)，交通标志识别(Soilán et al . 2016;Wen et al . 2016)，建筑墙体提取(Yang et al . 2013)，树木提取(Li et al . 2016)，通过无监督手段识别路边物体(Aijazi, Checchin, and Trassoudaine 2013;Pu et al . 2011;Yang et al . 2015)或监督分类方法(Lehtomaki et al . 2016;Serna and Marcotegui 2014等人)
  一个专业级的MLS系统由三个基本部分组成:(1)高精度和高频激光扫描仪，用于测距和测量;(2)集成惯性测量单元(IMU)、一些全球导航卫星系统(GNSS)天线和/或距离测量指示器的高精度定位系统(POS);(3)高精度、高可靠的数据管理和传感器同步控制系统。在GNSS时间框架内，记录的测距和角度观测可以转换为地理参考点云(Barber, Mills, and Smith-Voysey 2008)。许多典型的商用MLS系统在良好的GNSS条件下进行了测试，几何验证结果表明它们可以达到毫米级精度和厘米级精度(Barber, Mills, and Smith-Voysey 2008;关、李、余2013;Kaartinen等2012;Lim et al . 2013;Lin等人2013a;Puente et al . 2013)。
  但在实际应用中，GNSS卫星信号经常受到锁失现象、遮挡和多径效应等影响，导致定位精度和可靠性下降。另一方面，IMU利用加速度积分进行航位推算，带来时间累积误差。因此，在前后扫描的点云之间，或者在多次偏移之间，往往会出现分米级到亚米级不等的错位，直接影响后续的处理和应用，如重建、分割、分类和识别(Angelats and Colomina 2014)。
González-Jorge等人(2016)使用了严格迭代最近点算法(ICP) (Besl and Mckay 1992)来配准具有重叠区域的多条带点云。在他们的方法中，只使用高反射率的交通标志，而不是所有的几何特征来估计条之间的转换。一般情况下，POS误差随着时间戳轨迹的变化而变化，刚性变换不能满足高精度要求。Borrmann(2013)提出了一种半刚性同步定位和映射(SLAM)算法，在修正车辆轨迹的同时提高了所获取点云的精度。SLAM问题是机器人领域中最重要的问题之一，解决该问题是为了在机器人中没有POS设备的情况下实时确定机器人的运动状态(Cadena et al 2016)。半刚性SLAM方法(Elseberg, Borrmann,2013)是SLAM的离线平滑版本(Thrun and Montemerlo 2006)。通过重叠区域的ICP配准，可以隐式精确地计算出三维点云SLAM的车辆运动模型(Borrmann et al . 2008)，因此半刚性SLAM可以很好地应用于相邻时间内扫描的重叠点足够多的点云的配准，例如以走走停停的方式扫描(Lin, Hyyppä， and Kukko 2013 3b)。
  在高速/飞行扫描模式下，后续的“子扫描”之间只有很小甚至没有重叠。SLAM车辆的运动模型无法精确计算。提出了一些非slam和基于轨迹的方法来对准由高精度和昂贵的POS定位的MLS点云。Yu, Xiao, and Funkhouser(2015)描述了一种点的全局自动对准算法。谷歌街景汽车在城市环境中收集的云，其中非刚性模型由三次样条控制点的一组6d自由度刚性变换表示。通过定义能量函数，利用语义特征和双环ICP算法进行优化，得到未知变换，然后对轨迹点和点云进行校正。在优化步骤中，采用了轨迹连续光滑的假设，当轨迹噪声过大时，这一假设可能不能很好地满足。Han, Chen, and Lo(2014)提出了一种时变算法。在该方法中，在不同的扫描器位置得到的位置矢量被视为相同的矢量，但在不同的参考系中表示。采用Helmert变换的多阶展开(Han and Van Gelder 2006)来构建平差的观测函数。他们自己的实验结果表明，只有系统偏差被去除，但随机噪声仍然存在。
  受Glennie(2007)和Mezian等人对MLS系统误差分析的启发(2016)，以及Gressin et al(2012)和Takai et al(2013)基于轨迹的配准方法，本文提出了一种时变模型来处理后续“子扫描”之间没有重叠的多条带点云的不对准问题，并提出了一种自动高效的解决方案。与以往的非slam方法不同，该方法严格推导了地理参考公式，并基于POS误差建立了模型。我们的方法使用了三个假设:
（1） 已对激光扫描仪进行了精确校准，并准确测量了其到POS的位置矢量;
（2） 在短时间内，POS误差足够小，点云为近似刚体;
（3） POS误差几乎是连续的。
本文提出的方法分为三个关键步骤，如图1所示:
 预处理得到候选点云;
 用ICP算法计算对应关系;
 利用时变模型建立误差方程，通过求解优化问题估计其未知参数。

2. 方法

2.1. 时变模型
  扫描仪对实时距离和角度进行编码，然后将其转换为激光扫描仪框架中的点。地理参照公式为(Barber, Mills, and Smith-Voysey 2008;Glennie 2007):

  最后的点云通常需要定位在高斯投影帧中。将WGS84框架中的点转换成具有纬度、经度、椭球体高度的坐标形式，再转换成高斯框架。所得到的点云误差主要是由POS不准确引起的。POS错误如下

  式中，下标为“0”的观测值为初始值，近似等于后处理轨迹点的观测值;前缀为“d”的变量为POS机位置和姿态的未知误差。
式(1)的总微分公式为

  式中，
为POS帧中点p的定位向量，ΔW为点偏移向量。一般情况下，dB和dL非常接近于0°，因此可以忽略式(3)中的第5项和第6项。那么，偏差向量近似等于

  由式(4)可以看出，定位误差引起的偏差与扫描距离关系不大，而姿态误差引起的偏差与扫描距离和运动方向有关。
POS误差随测量时间的变化而变化。在频率高、精度高的POS条件下，假设变化是连续的。在我们的方法中，使用六个三次样条来拟合时变误差:

dr; dp; dh; dB; dL; dH是未知参数，a; b; c; m; n是削减参数，j表示段索引。为了估计未知参数，必须对三次样条曲线进行离散化。这里，每个三次样条都是时间 均匀采样的，这意味着每次样条都有一个控制点。则每个三次样条的段数为

其中tstart为开始时间，tend为结束时间，BC为取值的整数部分的符号。每条样条有M+1个控制点，有6X(M+1)个未知参数待解。
每个对应的误差方程为

  其中，上标1表示第四次/第一次扫描的点，2表示第二次/第二次扫描的点。此公式为多条带点云一致对准的误差方程
目标函数为

  该方程是非线性的，因此使用Levenberg-Marquardt算法来估计最优参数。至少需要2X(M+1)个对应点对才能完成计算。对应关系需要分布在轨迹的两边。
2.2. 自动化解决方案
2.2.1. 预处理
  噪声点云的大量存在给有效配准重叠区域带来困难。本节描述了一些预处理方法，以选择有利于对齐的候选点。工作流如图2所示。

  首先，根据时间将点云分割成小块;每个截面都是一个近似刚体。唯一指定的参数是时间间隔Tseg，为了计算对应(章节2.2.2)，应该适当地给出这个参数。如果Tseg太小，则每个部分中没有足够的对象。但如果Tseg太大，则变形太大，无法计算对应。在我们的方法中，Tseg是根据车辆的行驶速度确定的。如果车辆在移动中运行得非常快，公路环境中，Tseg赋值较小; 如果车辆在城市环境中缓慢行驶，则Tseg的值较大。此外，Tseg应该小于Tspline。
  离扫描仪太远的点稀疏且噪声大。因此，通过距离滤波去除测量距离Dmax以外的点。然后，我们通过Pauly, Keiser, and Gross(2003)的局部协方差矩阵算法估计下一步每个点的法向量n和曲率C。
  由于叶片分布分散，对应较少，导致ICP算法收敛速度较慢。因此，这些点被移除了。树叶是分散的，所以它们的曲率比大多数其他人造物体的曲率要大。如果它们的曲率大于Csmooth，我们就去掉这些点。我们发现，当Csmooth = 0.05时，可以去掉大部分的离开点，如图3©所示。

  对于小尺寸的物体，如低高度的路沿石，仍然有一些点被去除，但对对应计算没有太大影响。
  最后，由于路面点的几何特征不突出，也将其去除。此外，由于其致密性，它们的比例过高。利用区域生长法(Vosselman et al . 2004)来实现这一目的。我们选择轨迹下方的一个点作为种子，然后使用法线(图2)应用区域生长。预处理工作流程。输入和输出数据用蓝色表示，子过程用红色标记。
  具有阈值Nroad约束。路面附近有一些噪声点，如图3©所示，这些噪声点可能会影响种子点的选择。因此，在最后的预处理步骤之前，我们使用Kout最近邻的统计距离(Rusu et al . 2008)来过滤掉这些异常值。离群值滤波结果如图3(d)所示。
2.2.2. 对应的计算
  为了得到式(5)中的最优时变参数，需要多次通信。首先计算所有点云段的三维边界框，然后利用边界框检测重叠区域，构建共轭点云。如何使用具有有效变体的ICP算法(Rusinkiewicz and Levoy 2001)来估计对应关系是非常重要的。
  共轭点云的变换有几个基本特征:(1)旋转参数很小;(2)平移大于旋转;(3)时变POS误差导致各剖面偏差程度不同。为了稳健地估计变换，实现了带点对点误差度量的两步ICP:
 在第一步中，只考虑平移。对应点对的距离一致阈值大致设置为Dcourse。
 在第二步中，平移和旋转一起求解。距离一致阈值Drefine设置为小于Dcourse。
  如果一致阈值较粗，可以尽快确定初始变换，如果一致阈值较细，ICP可以收敛到精确结果。为了更有效地解决问题，所有层的ICP的一些其他变体是:
 法线一致性阈值设置为20°;
 采用法线空间采样策略从源点云中选取10%的点作为候选点;
 距离大于中值距离的对应在每次迭代中被拒绝。

2.2.3. 参数估计
  误差模型在矩形空间坐标系中描述，点云通常在高斯投影坐标系中给出。参数估计的步骤如下:
步骤1:利用高斯反投影在矩形空间坐标系中得到对应的定位向量，然后利用式(1)的反式计算其在POS帧中的坐标
步骤2:通过式(4)-式(6)计算误差。
步骤3:估计Levenberg-Marquardt算法的未知参数，并对点云进行校正。

3. 实验研究

3.1. 数据集
  我们使用两个数据集评估了所提出的算法。数据集1使用MLS系统收集，该系统包含RIEGL VUX激光扫描仪和POS, IMU为200 Hz，≤0.01°h−1漂移。该系统由中国武汉四维信息技术有限公司提供。根据给定的性能参数，POS的方位和姿态精度为0.01°。区域1的轨迹总长度(图4)为52.5 km，其中前带长度为17.76 km，后带长度为17.74 km。车辆的平均速度约为62 km h−1，该区域的总测量时间约为0.84 h。收集的点云存储在158个文件中，每个文件平均有200万个点。
  数据集2使用MLS系统收集，并安装了Velodyne HDL32激光扫描仪和POS, POS由一个组装的IMU (200 Hz)和NovAtel GPS702-GG GPS天线组成。该系统由中国武汉超景信息技术有限公司提供，车载POS由自己组装。根据公司自身参数，实时时，姿态精度为0.02°;GPS-RTK模式下的水平定位精度为2cm + 1ppm。后处理东方角精度为0.01°。但是，如果出现锁丢失现象，则会降低精度。当失锁时间为60 s时，定位误差的均方根为0.1628 m，方位角误差的均方根为0.0288°。测试数据在有路灯、交通标志和门面建筑的城市道路上进行扫描。弹道总长度(图5)为4.6 km，其中前带长度为2.24 km，后带长度为2.14 km。车辆的平均速度约为15 km h−1，该区域的总测量时间约为0.3 h。收集到的点云存储在22个文件中，每个文件平均有2000万个点。
情形1的轨迹比情形2平滑。情形2重叠点云的偏差为分米级，情形1重叠点云的偏差为亚米级。

3.2. 结果
  使用3.1节中描述的城市道路和高速公路环境中扫描的大容量数据对所描述的解决方案进行了测试。算法采用c++语言编写，验证在Intel酷睿i7-4790 CPU @ 3.60 GHz、8g内存、四核处理器的计算机上进行。表1说明了预处理步骤的指定参数。
预处理结果和性能如表2所示。在计算时间上，数据集1大约需要13分钟，数据集2大约需要7分钟。大部分时间都花在了法线估计步骤中，用于最近邻搜索。经过预处理后，大部分的点被去除，使得对应的计算更加高效。
  预处理结果的两个示例如图6和7所示。它们反映了即使只有大约甚至不到10%的点保留了几何特征，如表2所示。

  表3给出了采用两步ICP计算对应关系的性能和结果。通过对源点云和目标点云进行简单的最近邻搜索得到对应关系。大部分时间都被最近的邻居用来搜索建立通信。数据集1大约需要7分钟，数据集2大约需要15分钟。得到了足够的对应关系来完成参数估计。


  在第三步中，唯一指定的参数Tspline被设置为比Tseg大10秒。表4显示了时变配准的效率和精度。数据集1的计算时间为4.3 min，数据集2的计算时间为0.5 min，计算效率与未知参数的数量有关。配准后各对应间偏差的均方根误差(rmse)在4 ~ 5 cm之间
计算每个时间段对应关系之间偏差的rmse，最小值、最大值和平均值如图8所示。两个测试数据集在配准前的最小rmse分别为23.7和5.9 cm，最大值分别为129.8和13.4 cm。配准后的最小均方根误差低至3.0 cm和2.7 cm。数据集1的最大RMSE为9.8 cm，数据集2的最大RMSE在8 cm左右。

  我们还检查了点云的匹配质量。轨迹的起点、终点、转折点和交叉点的结果如图9和图10所示。这些点是有代表性的，因为偏差造成的姿态误差与扫描距离和车辆移动方向有关(2.1节)。它们的良好效果进一步定性地证明了时变模型的有效性和准确性。

4. 讨论

  由于大数据量和时变POS误差，MLS系统的点云配准是一项非常困难的工作。本文提出了一个时变模型，并给出了一个有效的解决方案。我们的方法可以自动对齐多条带点云，在随后的“子扫描”之间没有重叠。
  自动解决方案的三个步骤在功能上是独立的。预处理的目的是将点云分割成小块，然后得到对应计算的候选点。提出了六个子步骤，其中一些方法可以替代。例如，Rodríguez-Cuenca等人(2016)、Yan等人提出的一些路面提取方法(2016)， Yang, Fang, and Li (2013a)可以用来代替最后一个子步骤中的区域生长算法。影响配准计算效率和精度的关键参数是点云剖面的时间间隔Tseg。它是根据车辆的行驶速度确定的。速度不能太快因为每个部分必须有足够的特征和足够小的POS错误才能完成第二步的ICP注册。
  第二步的目的是获得对应关系。同时考虑算法的准确性、鲁棒性和效率，为此提出了一种两步ICP算法。点对点ICP的应用是因为它对不同几何情况的鲁棒性(Rusinkiewicz和Levoy 2001)。根据实际情况，也可以采用其他一些ICP变体(Rusinkiewicz and Levoy 2001)或3D曲面匹配方法(Gruen and Akca 2005)
  如前一节所述，rmse约为4-5 cm的结果非常好。大部分时间耗费在预处理和ICP步骤上，这些步骤的效率受数据量的影响。时变模型的唯一参数是三次样条控制点的时间间隔。其灵敏度评估如图11所示。由于未知参数的减少，计算时间随着样条的增加而减少，而且精度对样条不太敏感。因此，当测量时间过长时，可以将Tspline设置为大一点的值。
  在所描述的实验中，仅使用计算出的对应关系来估计时变参数，而不考虑地面控制点。提高了多条带点云的精度。我们希望在未来的研究中，通过采用或修改时变模型，并结合使用一些必要但尽可能少的地面控制点来提高定位精度。

5. 结论

  本文提出了一种基于地理参考公式的时变模型来处理多条带点云的不对准问题。提出了一种自动估计未知参数的方法，包括两个中间步骤的预处理以获得代表性点和两个步骤的ICP以获得对应关系。这三个关键步骤在功能上是独立的和可扩展的，允许它们被其他现有算法所取代。利用城市道路和公路环境两种典型的测量数据集对该方法进行了验证。结果表明，该方法是有效的，时变模型精度可达到4 ~ 5 cm的均方根误差。提高了多条带点云的精度。在未来的工作中，我们将加入一些地面控制点来提高点云的定位精度。