Automatic Targetless Extrinsic Calibration of a 3D Lidar 翻译

3D激光雷达的自动无目标外部校准

摘要

本文报告了一种基于交互信息（MI）的算法，用于3D激光扫描仪和光学相机系统的自动外部校准。 通过使用MI作为注册标准，我们的方法无需任何特定的校准目标就可以在原地工作，这使其在现场校准中变得可行。通过最大化在传感器测量的表面强度之间获得的互信息来估算校准参数。我们对克拉美-罗下界进行了后期计算，结果表明，对于足够数量的视图，估计参数的样本方差从经验上可达到克拉美-罗下界。此外，我们将校准结果与独立的地面真实性进行了比较，并观察到，随着视野数量的增加，平均误差在经验上也接近于零。这表明所提出的算法在极限情况下会计算校准参数的最小方差无偏（MVUB）估计。对于安装有3D激光扫描仪和全景摄像头系统的车辆收集的数据，将提供实验结果。

• 介绍

如今，机器人被用来执行二十年前我们无法想象的具有挑战性的任务。为了执行这些复杂的任务，机器人需要感知并理解其周围的环境。根据手头的任务，机器人通常配备有不同的传感器来感知其环境。安装在机器人平台上的感知传感器的两个重要类别是：（i）距离传感器（例如3D / 2D激光雷达，雷达，声纳）和（ii）摄像机（例如透视，立体，全向）。通常，从这些传感器获得的数据会被独立使用。但是，这些模式捕获有关环境的完整信息，可以通过外部校准传感器将其融合在一起。外在校准是估计两个传感器的参考（坐标）系统之间的刚体转换的过程。通过这种刚体变换，可以将3D点从范围传感器坐标系投射到2D摄像机坐标系（图1）。

 

图1：顶部面板是3D激光雷达测距数据的透视图，按地面上方的高度进行了颜色编码。 底部面板描绘了投影到时间对应的全向图像上的3D激光雷达点。 场景中存在几个可识别的对象（人，停车标志，灯柱，树木）。 （为了视觉清晰，仅投影了附近的物体。）

 

针孔透视相机到2D激光扫描仪的外部校准已经做了大量工作（Zhang 2004； Mei and Rives 2006；Unnikrishnan和Hebert 2005），因为它们价格便宜，并且在许多机器人应用中有很大帮助。Zhang（2004）描述了一种方法，要求激光和摄像系统同时观察平面棋盘图案。Mei和Rives（2006）后来报道了一种用于校准2D激光测距仪和全向摄像头的算法，该算法既可用于可见光（即也可在相机图像中观察到激光），也可用于不可见光激光。

手动选择相机和激光雷达之间的点对应关系。Aliakbarpour等（2009年）提出了一种使用惯性测量单元（IMU）来校准3D激光扫描仪和立体相机的技术，以减少进行稳健校准所需的点数。最近，Pandey等（2010年）介绍了一种3D激光雷达相机校准方法，该方法要求从激光扫描仪和相机系统手动选择相机和激光雷达之间的点对应关系的同时查看平面棋盘图案。Aliakbarpour等（2009年）提出了一种使用惯性测量单元（IMU）来校准3D激光扫描仪和立体相机的技术，以减少进行稳健校准所需的点数。最近，Pandey等（2010年）介绍了一种3D激光雷达相机校准方法，该方法要求从激光扫描仪和照相机系统同时查看平面棋盘格图案。

在这里，我们考虑3D激光扫描仪和摄像头系统的自动，无目标，外部校准。无需查看特殊目标的属性使得该算法特别适合于现场校准。为了实现这一点，所报告的算法基于相机和激光模态之间的强度和反射率信息的配准使用互信息（MI）框架。

Viola和Wells（1997）和Maes等人首先引入了基于MI的多模式图像配准的想法。  （1997）。从那时起，基于MI的配准的算法开发就呈指数级增长，并且已成为最新技术，尤其是在医学图像配准领域。在机器人技术界，MI的应用尚未普及，即使当今的机器人中有十个配备了不同的模态传感器。Alempijevic等（2006年）报道了一个基于MI的校准框架，该框架要求在两个传感器模态中都要观察到一个移动物体。由于其MI配方，Alem pijevic等人的结果。（一般意义上）与这项工作有关；但是，由于需要跟踪移动物体，因此它们对MI成本函数的表述完全不同。Boughorbal等（2000年）提出了一个χ2检验，该检验最大程度地提高了从两个传感器获得的校准问题数据的统计依赖性。后来由Williams等人使用。  （2004年）以及两种方法来估计刚体变形的初始猜测，这需要人工干预和特殊的对象跟踪机制。Boughorbal等（2000年）和威廉姆斯等（2004）是与我们自己最相关的先前作品；然而，他们已经报告了使用MI或χ2统计量表述的成本函数中存在局部最大值的问题。

在这项工作中，我们通过将来自不同场景的扫描合并到一个优化框架中来解决此问题，从而获得平滑和凹入的成本函数，易于使用任何梯度上升算法解决。从根本上讲，我们可以使用MI或χ2检验，因为它们都提供了对两个随机变量的统计依赖性的度量（McDonald 2009）。我们之所以选择MI，是因为正在进行快速而稳健的MI估算技术的积极研究，例如James-Stein型收缩估算器（Hausser和Strimmer 2009），尽管现在没有将其直接应用于拟议的框架中。重要的是，在这项工作中，我们提供了不确定的估计校准参数的度量，并凭经验表明它达到了克拉美-罗下界，表明它是一种有效的估计器。

• 方法

在我们的工作中，我们使用了安装在车顶上的Velodyne 3D激光扫描仪（Velodyne 2007）和Ladybug3全景摄像头系统（Pointgrey 2009）。我们从这些传感器获得的数据类型的快照如图2所示，清楚地展示了这两种模态之间的视觉关联。我们假设相机系统和激光扫描仪的三位标准校准参数都是已知的。我们还假设激光扫描仪报告了有意义的表面反射率值。在这项工作中，我们之前使用Levin son和Thrun（2010）报告的算法校准了激光扫描仪的反射率值。

 

图2：顶部面板是Ladybug3全向摄像机的图像。底部面板描绘了Velodyne-64E 3D激光雷达数据，这些数据按高度（左）和激光反射率（右）进行颜色编码。

 

图3：左面板显示了相关系数作为旋转参数之一的函数（将所有其他参数固定为真实值）。 我们观察到，对于89°的真实侧倾角，相关系数最大。在右面板中显示的是反射率和强度值在不正确（左）和正确（右）转换时的联合直方图。请注意，在正确的变换下，联合直方图的散布最少。

 

我们关于激光反射率和相机强度值之间的相关性的主张已通过图3所示的简单实验得到了验证。这里，我们为图2的扫描图像计算反射率和强度值的相关系数。 在校准参数的不同值上配对，并在真实值处观察到明显的最大值。此外，在右侧面板中，我们观察到，在正确的变换参数下计算时，激光反射率和相机强度值的联合直方图分布最少。

 

图4 ：（左）带有道路上树木和建筑物阴影的图像。（右）相应的激光雷达反射率图的顶视图，不受环境光照的影响。

 

尽管如图2所示的方案确实在两个传感器之间显示出很高的相关性，但是在其他方案中，它们的相关性可能不那么强。在图4中示出了一个这样的示例。在此，环境光在确定图像像素的强度水平方面起着至关重要的作用。如图中清楚所示，道路的某些区域被阴影覆盖。图像的灰度等级受阴影影响；但是，激光中的相应反射率值不是因为它使用了主动照明原理。因此，在这些类型的场景中，两个传感器之间的数据可能不会显示出很强的相关性，因此对于所提出的算法将产生较弱的输入。在本文中，我们不专注于解决一般照明问题。取而代之的是，我们制定了一个基于MI的数据融合准则，以估计两个传感器之间的外部校准参数，因为它们得出的结论是，数据在大多数情况下不会受到照明伪影的破坏。实际上，对于许多实际的室内/室外校准场景（例如，图2），阴影效果仅占整体数据的一小部分，因此在校准过程中表现为噪声。通过汇总多个视图，建议的方法可以轻松解决此问题。

 

2.1 理论

两个随机变量X和Y之间的互信息（MI）是两个随机变量之间发生环的统计依赖性的度量。文献中已经提出了多种MI的配方，每种配方都证明了所考虑的随机变量在统计上的依赖性。根据随机变量的熵定义了一种这样的形式的MI：

 

其中H（X）和H（Y）分别是随机变量X和Y的熵，H（X，Y）是两个随机变量的联合熵：

 

 

 

 

随机变量X的熵H（X）表示X中的不确定性量，而H（X，Y）表示同时观察到随机变量X和Y时的不确定性量。因此（1）表明，当我们对随机变量Y有所了解时，MI（X，Y）是随机变量X的不确定性减小。换句话说，MI（X，Y）是Y包含的有关X的信息量，反之亦然。

 

2.2 数学公式

在这里，我们将3D点的激光反射率值和投影到该3D点的图像像素的相应灰度值分别视为随机变量X和Y。这些随机变量p（X），p（Y）和p（X，Y）的边际和联合概率可以从以下条件共同获得：归一化的边际和联合直方图，这些边际和联合直方图是由3D点共同观察到的3D点的反射率和灰度强度值 激光扫描仪和照相机。让{Pi;  i = 1、2，····，n}是3D点的集合，其坐标在激光参考系统中是已知的，并且令{Xi;  i = 1、2，···，n}是这些点的相应反射率值（Xi∈[0，255]）。

对于通常的针孔相机模型，齐次3D点P〜i与齐次图像投影p〜i之间的关系由下式给出：

 

其中（R，t）称为外部参数，是将激光坐标系与相机坐标系相关联的正交旋转矩阵和平移矢量，而K是相机固有矩阵。在这里，R由Euler角[φ，θ，ψ]>参数化，t = [x，y，z]>为欧几里得3维向量。让{Y;  i = 1、2，···，n}是3D点投影到的图像像素的灰度强度值，使得

 

其中Yi∈[0，255]，而I是灰度图像。

因此，对于给定的一组外部校准参数，Xi和Yi分别是随机变量X和Y的观测值。 可以从Xi和Yi的标准化边际和联合直方图的核密度估计（KDE）获得随机变量X和Y的边际和联合概率。随机变量X和Y的联合分布的KDE由（Scott 1992）给出：

 

其中K（·）是对称核，而Ω是带宽或核的平滑矩阵。在我们的实验中，我们使用了高斯核和与数据的样本协方差矩阵（Σ1/ 2）的平方根成比例的带宽矩阵Ω。图5显示了来自可用直方图的灰度值概率分布的KDE图示。

 

图5：根据观察到的灰度强度值的直方图（左）估计的概率分布的核密度估计（右）。

 

一旦我们估计了概率分布，就可以将两个随机变量的MI编写为外部校准参数（R，t）的函数，从而制定目标函数：

 

其最大值出现在寻求的校准参数上，θ= [x，y，z，φ，θ，ψ]T。

 

2.3优化

我们使用Barzilai-Borwein（BB）最陡的梯度上升算法（Barzilai和Borwein 1988）来找到最大化的校准参数Θ（8）。BB方法可以在成本函数的梯度方向上设置自适应步长。步长包含目标函数的二阶信息。如果成本函数（8）的梯度由下式给出：

 

然后将BB方法的一次迭代定义为：

 

其中Θk是第k次迭代的（8）的最优解，Gk是Θk处的梯度矢量（通过数值计算），k·k是欧几里得范数，而γk是自适应步长，由下式给出：

 

其中和。

 

图6：单次扫描（左）和10次扫描的聚合（右）的MI成本函数面与平移参数x和y的关系。 汇总扫描时，请注意全局凸度和平滑度。参数的正确值由（0.3，0.0）给出。此处绘制了负MI，以使极值的可视化更加容易。

成本函数的凸性（图6）是通过在单个优化框架中汇总来自不同场景的扫描来实现的，并允许算法在几个步骤中收敛到全局最大值。 通常，该算法大约需要2-10分钟才能收敛，这取决于用于估计MI的扫描次数。算法1中显示了完整的算法。

 

 

2.4估计参数方差的克拉美-罗下界

重要的是要知道估计参数的不确定性，以便将其用于任何视觉或同时定位和制图（SLAM）算法中。在这里，我们使用估计参数的方差的克拉美-罗下界（CRLB）作为不确定性的度量。CRLB（Cramer 1946）指出，任何无偏估计量的方差都大于或等于Fisher信息矩阵的逆。而且，任何达到该下限的无偏估计都被认为是有效的。 随机变量Z的Fisher信息是对随机变量Z的观测值携带未知参数α的信息量的度量，该未知参数α取决于Z的概率分布。如果随机变量Z的分布由f（Z;α）给出，则Fisher信息由（Lehmann and Casella 2011）给出：

 

在我们的情况下，随机变量X和Y的联合分布（如（7）所定义）取决于六个维度的转换参数Θ。 因此，Fisher信息由[6×6]矩阵给出

 

所需的CRLB由

 

其中是在参数Θ的估算值处计算的Fisher信息矩阵的逆。

 

 

• 实验与结果

......

 

 

 

克拉美-罗下界（Cramer-Rao-Lower-Bound（CRLB））：

https://blog.csdn.net/u012284960/article/details/81185884