无惧畸变，通过追踪矩实现亚像素检测，提高标定精度（支持红外相机）

Abstract

在文献中，点和圆锥曲线是相机几何标定的主要特征。尽管圆锥曲线比点提供了更多的信息，然而在畸变下丧失圆锥曲线的特性严重限制了其在相机标定中的应用。许多现有的方法通过忽略畸变或引入三维球形目标来规避这一限制。本文提出了一种新的基于矩的圆锥曲线标定方法。我们的推导基于数学发现，即使在畸变下，第一个矩也可以无偏估计。这使我们能够在投影和畸变过程中跟踪矩的变化，确保畸变圆锥的第一个矩的保留。通过无偏估计，圆形图案可以在亚像素级别准确检测，从而可以在整个标定流程中充分利用这些图案，显著提高标定精度。

代码地址：https://github.com/ChaehyeonSong/discocal

 

Introduction

相机标定是三维计算机视觉和基于视觉的感知中的重要部分。显著的是，从图像中理解几何结构的过程依赖于准确的相机标定，包括三维密集重建、视觉同步定位和地图构建（SLAM）以及深度估计。这一基础问题已通过各种方式解决，大多数标定方法利用覆盖有特定图案（如方格结构或圆形）的平面靶标。这种基于平面靶标的方法需要通过控制点（例如，方格的角点或圆心）的无偏投影模型进行精确测量，以实现准确的标定结果。许多文献研究了这两种图案的不同优缺点。方格图案确保了在投影变换和畸变中的精确（无偏）估计，但其检测精度仅限于像素级别。另一方面，圆形图案在实现亚像素级别检测精度方面表现出色，但由于偏置投影模型，导致标定结果较差。使用圆锥特征补偿透视偏差是不够的，更主要的因素是非线性镜头畸变。这会降低圆锥的几何特性，使得难以估计投影圆的中心。

圆形图案的无偏估计器

畸变下的控制点追踪

使用无偏估计器的标定

标定过程分为两个阶段。首先，我们使用张氏方法在假设零畸变的情况下，以闭合形式建立内参的初始值。由干初始值未考虑畸变参数，因此需要通过优化进行细化。在优化过程中，我们最小化重投影误差，即控制点的观测位置和使用无偏估计器估计的控制点位置之间的平方差：

Experiment

比较估计器

大多数现有的校准算法使用基于点的估计器，该方法忽略了圆锥几何形状，直接将失真图像中的形状中心匹配到目标中的圆心。基于圆锥的估计器补偿了透视变换引起的偏差。然而，基于圆锥的估计器仍然会获得失真偏差。理论上无偏的数值方法也显示出数值积分引起的相当大的误差。这些限制在图4中有详细描述。每个数据点表示固定24个场景中重投影误差的平均值，并以标准差形式展示误差图。

合成图像的校准精度

我们在合成图像上进行了实验，以评估我们的无偏估计器如何改进校准性能。我们设定了f_x、f_y、c_x和c_y的真实值（GT），使视场角（FOV）约为90度。我们为失真系数准备了两种情况：一种是低失真（d_1 = -0.2），一种是高失真（d_1 = -0.4）。在后一种情况下，失真函数在给定的视场角范围内不可逆，因此我们略微调整了d_2以使其可逆，并且我们只评估d_1，因为d_2很小，可以忽略不计。我们准备了100张图像，并在30张随机选取的图像集上进行了校准。我们重复了这个过程30次，以计算平均值和标准差，结果显示在表中。

真实图像的校准精度

我们进一步使用RGB和TIR相机拍摄的真实图像评估了我们的方法。由于无法找到真实相机的GT内参，需要另一种评估指标以扩展实验到现实世界。我们不是直接比较内参，而是评估重投影误差的分布以及不同场景中每个目标之间的相对平移和旋转值。为了突出方法之间的明显差异，我们使用了两种高失真相机。一种是分辨率为1200×930的RGB相机Trition 5.4 MP，另一种是分辨率为640×512的TIR相机FLIR A65。这两种相机的样本图像显示在图5中。由于TIR相机在识别彩色图案方面有限，只能通过红外能量区分物体，我们使用了不同导热性的方形或圆形电路板（PCB）。

重投影误差的分布

我们预期校准结果会更好，当总的重投影误差较小且误差均匀分布时。我们从三个不同距离（即近、中程和远）收集了24张图像，以研究这两个方面。如图5所示，基于点和基于圆锥的方法会产生高重投影误差，并且不同距离之间的误差值差异显著，这表明计算的内参无法一致地解释所有距离的投影模型。相反，棋盘方法和我们的方法的无偏估计器在所有距离上显示出低重投影误差。在RGB相机中，棋盘方法和我们的方法显示出类似的性能。同时，由于控制点检测准确，我们的方法在TIR相机中表现优于棋盘方法。如§5.2所示，数值方法的精度随着迭代步骤的增加而趋向我们的方法。然而，数值方法（1600）几乎需要五分钟才能收敛，而我们的方法只需30秒。更多信息，如2D图像中误差向量的分布，详见附录9.2。

6D位姿误差

为了验证每种方法的反投影性能，我们调查了相对6自由度位姿误差。每个相机在不同场景中捕捉了20张图像，并使用这些图像进行了校准。在校准过程中，还优化了每个场景中目标的位姿，并使用这些位姿评估校准精度。相对位姿的GT值通过OptiTrack的运动捕捉系统获得。设T_ct_i为从第i个目标坐标系到相机坐标系的SE(3)矩阵，T_mo_i为从第i个物体坐标系到运动捕捉系统坐标系的SE(3)矩阵。注意，物体框架是附加到目标平面的框架。然而，由于运动捕捉系统为目标定义了另一个坐标系，这两个框架并不相同，如图6所示。没有坐标变换矩阵T_ot和T_mc的情况下，无法直接评估相对位姿。因此，我们首先计算了变换矩阵，最终误差定义为：

具体估计T_ot和T_mc的细节在附录9.3中描述。根据表2，我们的方法在所有情况下表现优于其他方法，尽管棋盘方法在重投影误差方面低于基于点和基于圆锥的方法，但在反投影任务中表现较低。

总结：

文章的主要贡献：

1. 创新无偏估计器：文章提出了一种新的无偏估计器，专门用于处理圆周图案在径向多项式畸变下的投影问题，填补了圆锥基标定流程中的空白。

2. 实验验证与应用：通过合成和实际图像的实验，验证了估计器在不同畸变条件下的无偏性和准确性，特别适用于RGB和热红外（TIR）相机的标定，尤其是在高模糊和噪声条件下。

3. 算法公开与性能提升：作者公开了算法，以支持使用圆锥特征进行标定的社区，并展示了该方法在重投影误差和6D姿态方面相较于现有方法的性能提升。

引用CVPR2024文章：

Unbiased Estimator for Distorted Conics in Camera Calibration

关注我的公众号auto_driver_ai(Ai fighting), 第一时间获取更新内容。