【鱼眼镜头9】论文Omnidirectional Camera，鱼眼是全向折射相机，满足单一有效视点，scaramuzza多项式Taylor模型（适用于鱼眼相机），统一投影模型（在鱼眼应用受限）

论文信息

地址：https://rpg.ifi.uzh.ch/docs/omnidirectional_camera.pdf
作者Davide Scaramuzza
单位：GRASP Lab, University of Pennsylvania

定义

(全方位摄像机)An omnidirectional camera (from omni, meaning all) is a camera with a 360-degree field of view in the horizontal plane, or with a visual field that covers a hemisphere or (approximately) the entire sphere.

Background

大多数相机是可以用小孔成像pinhole cameras，但是Omni 全向相机不行。一般采用一下几种方法

当然，我会用简单的话来解释这三种全向相机（omnidirectional camera）的构建方式。

1. 折射相机（Dioptric cameras）：

   • 这种相机使用了不同形状的镜头，例如鱼眼镜头。
   • 它的视野可以超过180度，也就是稍微超过半个球。
   • 你可以想象它的镜头像一个鱼眼，能够捕捉到更广泛的视野。

2. 折反射相机（Catadioptric cameras）：

   • 这种相机结合了普通的相机和一个特殊形状的镜子，比如抛物面镜、双曲面镜或椭圆面镜。
   • 它可以在水平方向上提供360度的视野，在垂直方向上也有超过100度的视野。
   • 你可以想象它像一个带有曲面镜的全方位摄像头，可以捕捉到周围的所有东西。
   • 图1b中展示了一个使用双曲面镜的折反射相机的例子。

3. 多折射相机（Polydioptric cameras）：

   • 这种相机使用了多个摄像头，并且每个摄像头的视野都是重叠的。
   • 目前，这种相机是唯一能够提供真正的全向（球形）视野的相机，也就是说，它可以捕捉到所有方向（360度×360度）的图像。
   • 你可以想象它像是一个由多个摄像头组成的球体，每个摄像头都能捕捉到一部分图像，而所有这些图像组合起来就能形成一个完整的球形视野。

希望这些解释能够帮助你更好地理解这三种全向相机的构建方式！

直到2000年，由于新的制造技术和精密工具，鱼眼相机才开始普及，使其视野增加到180度甚至更多。然而，直到2005年，这些相机才被小型化到1-2厘米的大小，并且它们的视野增加到190度甚至更大）。

鱼眼是全向相机的折射相机的一种重要类型。

0.1 中央全向相机

0.1.1 中央相机 projection center or single effective viewpoint

中心投影系统：当被观察物体的光线在3D空间中的一个点（即投影中心或单有效视点）相交时，视觉系统被称为中心投影系统。在这个系统中，所有的光线都通过一个单一的点（如相机的镜头中心）投射到图像平面上。这个属性被称为单一有效视点属性。
（图2）

形成单一有效视点包括：透视相机、鱼眼相机和特色设计的折反射相机。

透视相机（perspective camera）是中央投影系统的一个示例，因为所有光线（optical rays）在一个点（即相机光学中心）相交。

鱼眼相机是一种能够捕获广角甚至全向视图的特殊镜头。虽然其镜头设计特殊，但它们的成像原理仍基于中心投影系统，因此满足单一有效视点的特性。

相反，中央折反射相机为了实现单一有效视点的特性，需要仔细选择镜子的形状和相机与镜子之间的距离。Baker和Nayar的研究表明，满足这一特性的镜子形状是双曲线、抛物线和椭圆形的旋转体。

对于双曲线镜和椭圆镜，通过确保相机中心（即针孔或透镜中心）与双曲线（椭圆）的一个焦点重合来实现单视点特性（图3）。对于抛物面反射镜，必须在相机和反射镜之间插入正交透镜，这使得抛物面反射镜反射的平行光线可能会聚到相机中心（图3）。

单一有效视点的优势：

• 几何正确的透视图像：由于每个像素都对应于通过视点的特定方向的光线，因此可以从全向相机拍摄的图片中生成几何正确的透视图像。单一有效视点之所以如此理想，是因为它允许用户从全向相机拍摄的图片中生成几何正确的透视图像（图4）。

• 应用视极几何理论：单视点属性允许用户应用视极几何理论，这对于从运动恢复结构（structure from motion）等计算机视觉任务非常重要。

单视点属性如此重要的另一个原因是它允许用户应用著名的视极几何理论，这对从运动到结构非常重要。极向几何适用于任何中央相机，无论是透视还是全向。

中央相机（Central cameras）如何将全向图像（omnidirectional image）的特定区域重新映射（remap）到透视图像（perspective image）上，或者投影到一个球体上。以下是对这段话的理解：

1. 重新映射到透视图像：

   • 中央相机允许用户通过指定一个由用户任意定义的平面（a），来将全向图像中的某个区域重新映射到一个透视图像上。
   • 在这个过程中，光线（optical rays）与这个平面相交，形成透视图像。

2. 不能将整个全向图像投影到平面上：

   • 由于全向图像捕捉了几乎360度的视野，因此不可能将整个全向图像直接投影到一个平面上而不发生变形或损失。
   • 只能将全向图像的某些子区域（subregions）投影到平面上，以生成透视图像。

3. 投影到球体上：

   • 另一种选择是将全向图像投影到一个球体上（c）。
   • 在这种情况下，整个全向图像可以被完整地重新映射到球体上，而不会发生变形或损失。

这样的重新映射或投影技术对于许多应用来说非常重要，如虚拟现实、增强现实、视频监控和机器人导航等。它们允许用户或系统从全向相机捕捉的全景数据中提取特定区域的详细信息，或将其转化为更适合进一步处理或显示的形式。

0.1.2 鱼眼相机不是透视相机，但属于折射相机

鱼眼相机不是传统意义上的透视相机。虽然鱼眼相机和透视相机都用于捕捉图像，但它们在成像原理和图像特性上有显著的差异。

1. 成像原理：透视相机遵循中心投影系统的原理，即所有光线通过一个单一的点（镜头中心）投射到图像平面上，形成透视图像。而鱼眼相机则使用一种特殊设计的镜头，该镜头具有极大的视角（通常超过180度），可以捕捉几乎全方位的图像。鱼眼相机的镜头使入射光线的入射角远远大于普通镜头，并且使得光线在图像平面上呈现出一种特殊的弯曲或变形，这被称为“鱼眼效应”。

2. 图像特性：透视相机捕捉的图像具有线性的透视关系，即远处的物体在图像中看起来较小，近处的物体看起来较大。而鱼眼相机捕捉的图像则具有非线性的透视关系，图像中的物体可能会出现明显的畸变和变形，尤其是边缘部分的物体。

3. 应用场景：透视相机广泛应用于各种摄影和视觉系统中，因为它们能够生成符合人眼感知的透视图像。而鱼眼相机则更适用于需要捕捉全方位图像的场景，如监控、虚拟现实、自动驾驶等领域。

因此，虽然鱼眼相机和透视相机都是用于捕捉图像的相机，但它们在成像原理和图像特性上存在显著的差异，不能简单地将鱼眼相机归类为透视相机。

0.2 全向相机模型和标定

在之前的博客【鱼眼镜头1】鱼眼镜头的四种投影模型（指导镜头的设计），中央镜头综述，说明了投影模型的重要性&