【A Comprehensive and Versatile Camera Model for Cameras with Tilt Lenses-steger2017论文翻译一】

A Comprehensive and Versatile Camera Model for Cameras with Tilt Lenses-Steger2017 翻译一

倾斜镜头相机的全面且多功能相机模型

摘要

    我们提出了适用于配备可在任意方向上倾斜的镜头（通常称为Scheimpflug光学）的相机模型。所提出的模型是全面的：它们可以处理常见于机器视觉和消费级相机的所有倾斜镜头类型，并正确描述光线在物体空间和图像空间中角度不同的镜头的成像几何。这对许多镜头来说是成立的。此外，由于这些模型还可以用于描述一个立体图像对的矫正几何，其中一个相机是透视相机，另一个是远心相机，因此它们是多功能的。我们还研究了模型的退化情况，并提出了处理退化情况的方法。此外，我们还研究了所提出的相机模型与不同类别的投影相机矩阵之间的关系，并展示了所有类别的投影相机都可以以自然的方式解释为具有倾斜镜头的相机。此外，我们提出了一种算法，可以校准透视相机和远心相机的任意组合（无论它们是否倾斜）。该校准算法使用带有圆形控制点的平面校准物体。众所周知，圆形控制点可能导致校准结果偏差。我们提出了两种有效的算法来消除偏差，从而获得准确的校准结果。最后，我们对所提出的相机模型和校准算法进行了广泛的评估，以验证和验证所提出模型的有效性和准确性。

1.引言

    我们提出了适用于具有可在任意方向上倾斜的镜头（通常称为Scheimpflug光学）的相机模型。所提出的模型是综合的：它们可以处理在机器视觉和消费级相机中常见使用的所有倾斜镜头类型，并正确描述了光线在物体和图像空间中角度不同的镜头的成像几何。这适用于许多镜头。此外，它们是多功能的，因为它们还可以用来描述一个立体图像对的矫正几何，其中一个摄像机是透视摄像机，另一个摄像机是远心摄像机。我们还研究了模型的退化情况，并提出了处理退化情况的方法。此外，我们研究了所提出的相机模型与不同类别的投影相机矩阵之间的关系，并展示了所有类别的投影相机都可以自然地解释为具有倾斜镜头的相机。此外，我们提出了一种可以校准透视摄像机和远心摄像机（无论它们是否倾斜）的任意组合的算法。该校准算法使用一个具有圆形控制点的平面校准物体。众所周知，圆形控制点可能导致校准结果偏差。我们提出了两种有效的算法来消除偏差，从而获得准确的校准结果。最后，我们对所提出的相机模型和校准算法进行了广泛的评估，证实了所提模型的有效性和准确性。

    在需要较大放大倍率的机器视觉应用中，经常出现的一个问题是随着放大倍率的增加，景深逐渐变小。由于对于常规镜头，景深与图像平面平行，如果需要对不平行于图像平面的物体进行清晰成像，就经常会出现问题。第2节描述了一些出现这个问题的应用场景。

    众所周知，景深可以围绕着一个相对于图像平面倾斜的世界平面进行调整。这可以通过将镜头相对于图像平面进行倾斜来实现。这就是众所周知的Scheimpflug原理，该原理在第3节中详细描述。

    在使用倾斜镜头时，镜头在物体和图像空间中的光线角度可能不同这一事实变得至关重要。第4节描述了几何光学的原理，导致光线角度不同。该部分还展示了四种常见的镜头类型：内心透视镜头（物体和图像空间透视，可能光线角度不同），图像侧远心镜头（物体空间透视，图像空间正交），物体侧远心镜头（物体空间正交，图像空间透视）和双侧远心镜头（物体和图像空间正交）。这些镜头类型中的每一种都可以倾斜，显然每种镜头类型的成像几何都会有所不同。

   对倾斜镜头的现有相机模型进行的回顾（参见第5节）揭示了几个重要的不足之处。因此，我们提出了一个全面的倾斜镜头相机模型，其中包括针对四种可能的倾斜镜头的相机模型，以消除这些不足之处（有关所提出的模型，请参见第7节；所提出模型所基于的常规模型，请参见第6节）。

    我们还将研究在什么条件下可以唯一确定所提模型的参数，以及在什么条件下会发生退化情况（第7.2节）。此外，我们将在第8节中展示所有类型的投影相机可以自然地被视为具有倾斜镜头的相机。

    我们提出的相机模型非常灵活。我们在第12节中展示了该模型还可以用于描述透视摄像机和远心摄像机的立体图像对的矫正几何。

    我们还描述了一种能够校准透视摄像机和远心摄像机任意组合的算法（第9节）。此外，我们描述了两种计算高效且准确的算法，用于消除圆形控制点的偏差（第10节）。最后，我们在许多真实镜头上测试了所提出的相机模型（第11节）。

2 应用领域

    在配备常规镜头的相机中，成像清晰的物体空间部分与图像平面平行。景深，即在图像中呈现清晰的物体距离范围，与镜头的放大倍率的平方的倒数成正比（Lenhardt 2006，第4.2.13.2章）。通常情况下，放大倍率定义为物体成像大小与物体实际大小之比，其中大小表示与光轴的距离（Lenhardt 2006，第4.2.3章）。因此，相机的放大倍率越大，景深就越小。

    在高放大倍率下，小景深在需要成像的物体位于或接近于与图像平面不平行的平面时会产生问题。使用常规镜头，唯一的解决方法是减小光圈孔径（通常是光圈），即增大镜头的光圈数。然而，这种方法存在两个限制。首先，如果光圈孔径太小，由于衍射效应，图像会显得模糊（Lenhardt 2006，第4.3.4-4.3.7章）。其次，小光圈孔径导致较少的光线到达传感器。因此，需要高功率的照明来实现合理的曝光时间，特别是在需要获取移动物体图像时。这种情况下，一种解决方法是使用倾斜镜头。通过倾斜镜头，可以调整景深的平面，使其与物体所在的平面对齐。这样可以实现在非平行于图像平面的平面上成像物体并保持清晰。倾斜镜头的Scheimpflug原理允许在倾斜镜头的特定设置下获得扩展的焦平面，从而克服了常规镜头的景深限制。使用倾斜镜头的另一个优势是可以通过调整镜头的倾斜和旋转来控制透视效果。这对于建筑摄影、产品摄影、文档扫描等需要保持垂直线条或纠正透视畸变的应用非常有用。总之，倾斜镜头提供了一种解决高放大倍率下小景深问题的方法，通过控制焦平面和透视效果，可以实现更灵活和多样化的成像结果。

    有许多实际应用需要将物体空间中与图像平面不平行的平面成像为清晰。一个例子是立体重建，通常在此应用中使用的相机是以收敛设置的。如图1所示，这种设置导致两个相机同时产生清晰图像的物体空间体积呈菱形状的无限棱镜。在小放大倍率下，通常可以忽略这个问题，因为常规景深足够大。然而，在大放大倍率下（例如大于0.1），这个体积变得足够小，会导致明显的失焦。在立体重建中，两个相机之间的角度越大，即收敛角越大，失焦问题就越严重。这是因为收敛设置会导致物体空间中的体积变形，使得相机之间的景深差异增大。因此，当需要在立体重建等应用中成像不平行于图像平面的物体时，倾斜镜头的使用变得非常重要。倾斜镜头可以通过调整其倾斜和旋转来对准非平行于图像平面的物体平面，并保持清晰焦点。这样可以克服常规镜头在大放大倍率下出现的景深问题，并获得准确的立体重建结果。除立体重建外，倾斜镜头还在其他应用中发挥重要作用，如测量、工业检测、艺术摄影等。它们提供了更大的灵活性和控制能力，使摄影师和工程师能够实现更精确和创造性的成像效果。

 一种使物体空间中成像清晰的体积变得平行的方法是使用移轴镜头，即将镜头相对于传感器进行平移，而光轴仍然垂直于传感器（Willert 1997；Prasad 2000）。一个主要的问题是，这种方法需要通过镜头斜向成像，这增加了光圈遮光和光学像差，从而降低了图像质量（Willert 1997；Prasad 2000）。相比之下，使用收敛立体配置可以避免这些问题，因为光线以接近光轴对称的角度通过镜头，即在镜头设计为减小像差的区域。此外，如果在立体设置中使用了远心镜头，移轴镜头的使用是不可能的。在这种情况下，显然必须使用收敛几何来在图像中产生视差。移轴镜头在一些特定应用中仍然是有用的，例如建筑摄影和产品摄影，因为它们可以纠正透视畸变并保持垂直线条。然而，在需要成像非平行于图像平面的物体并保持高质量图像的应用中，如立体重建，使用收敛立体配置是更好的选择。这样可以避免光学像差和光圈遮光问题，并获得更准确和清晰的重建结果。

    另一个需要将倾斜的物体平面成像为清晰的应用是光线投影三维重建。在这种应用中，使用带有圆柱透镜的激光器将激光线投射到世界上的物体上，相机则获取激光线的反射图像（Gross 2005，第16.6.1章；Beyerer等2016，第7.3.1和7.3.2章；Li等2007；Legarda等2011）。激光线的投影形成了一个空间中与相机的光轴不垂直的平面。不同的物体距离导致图像中激光线的不同偏移，从而实现了场景的三维重建。为了获得最高的准确性，必须保证激光线在所有需要重建的三维深度上都是清晰的，即理想情况下，投影仪发出的整个三维激光平面都应该是清晰的。在粒子图像测速应用中，激光光带方法通常与立体相机配置相结合（Willert 1997；Prasad 2000）。这样可以确定粒子速度的垂直于平面的运动分量。在这种应用中，倾斜镜头可以用于调整相机的投影平面，使其与激光平面保持平行，从而确保在所有重建深度上激光线都保持清晰。通过倾斜镜头的调整，可以实现整个平面的清晰成像，而不仅仅是焦点所在的单个深度。这对于精确和准确的三维重建非常重要，特别是在粒子图像测速等需要测量物体在空间中的运动的应用中。综上所述，倾斜镜头在不同应用中都有重要的作用，可以解决非平行于图像平面的物体成像问题。无论是立体重建、光线投影三维重建还是粒子图像测速，倾斜镜头都可以调整成像平面，实现清晰的焦点和准确的成像结果.

    另一个需要将与图像平面倾斜的平面成像为清晰的应用是条纹投影（Gross 2005，第16.6.2章；Beyerer等2016，第7.3.4章；Albers等2015；Peng等2015）。在这种应用中，一个二维投影仪取代了立体相机设置中的一个相机。因此，从几何上讲，这个应用与上述的立体相机设置是等价的。在条纹投影中，投影仪发出具有特定空间编码的条纹光，并通过相机捕捉物体表面反射的条纹图像。通过分析条纹的形变，可以推断出物体表面的形状和深度信息。为了获得准确的三维形状重建，需要确保条纹光在整个物体表面都是清晰的，即使物体表面在空间中倾斜。与立体重建和光线投影三维重建类似，倾斜镜头在条纹投影中也可以用于调整相机的投影平面，使其与条纹光平面保持平行。通过倾斜镜头的调整，可以确保在整个物体表面上都能获得清晰的条纹图像，从而实现准确的三维形状重建。因此，倾斜镜头在条纹投影等应用中起着重要作用，可以解决非平行于图像平面的物体成像问题，并确保获得清晰的条纹图像以实现精确的三维形状重建。