相机模型 Omnidirectional Camera(全方位摄像机)

1 相关概念

• 相机标定
• 针孔相机
• 径向畸变
• 全方位视觉
• 相机参数（内参，外参）
• 内参数矩阵
• 运动结构
• 极线几何学

2 定义

全向相机是在水平面上具有360度视野，或具有覆盖半球或（近似）整个球体的视野的相机。

3 背景

大多数商用相机都可以描述为针孔相机，通过透视投影进行建模。然而，有些投影系统的几何结构无法使用传统针孔模型来描述，因为成像设备引入了非常高的失真。其中一些系统就是全方位摄像机。
有几种方法可以制作全向相机。屈光照相机(Dioptric cameras)使用成形透镜的组合（例如鱼眼透镜；见图1a），并且可以达到甚至大于180度的视野（即略大于半球）。折反射相机(Catadioptric cameras)将标准相机与成型镜（如抛物面镜、双曲面镜或椭圆镜）相结合，在水平面上提供360度的视野，在仰角(elevation)上提供100度以上的视野。在图1b中，您可以看到使用双曲镜的折反射相机示例。最后，多折射相机使用多个具有重叠视场的相机（图1c），迄今为止是唯一提供真正全向（球形）视场（即4π立体视场）的相机。
折反射相机最早于1990年由Yagi和Kawato引入机器人学，他们使用折反射相机定位机器人。直到2000年，由于新的制造技术和精密工具，鱼眼相机才开始普及，使其视野增加到180度甚至更多。然而，直到2005年，这些相机才被小型化到1-2厘米的大小，并且它们的视野增加到190度甚至更大（例如，见图6a）。
在下一节中，将概述全向相机模型和校准。对于全方位视觉的深入研究，读者可参考[2,3,4]，对于全方位相机模型的更详细调查，请参考[5]。

4 理论

4.1 Central omnidirectional cameras

当被观察物体的光线在3D中的一个点（称为投影中心或单有效视点）相交时，视觉系统被称为中心（图2）。此属性称为单一有效视点属性。透视相机(perspective camera)是中央投影系统的一个示例，因为所有光线(optical rays)在一个点（即相机光学中心）相交。
所有现代鱼眼相机都是中心的，因此，它们满足单一有效视点特性。相反，中央折反射相机只能通过适当选择镜子形状和相机与镜子之间的距离来构建。正如Baker和Nayar[6]所证明的，满足单视点特性的镜族是一类旋转（扫描）圆锥截面，即双曲、抛物线和椭圆镜。对于双曲线镜和椭圆镜，通过确保相机中心（即针孔或透镜中心）与双曲线（椭圆）的一个焦点重合来实现单视点特性（图3）。对于抛物面反射镜，必须在相机和反射镜之间插入正交透镜，这使得抛物面反射镜反射的平行光线可能会聚到相机中心（图3）。
单一有效视点之所以如此理想，是因为它允许用户从全向相机拍摄的图片中生成几何正确的透视图像（图4）。这是可能的，因为在单视点约束下，感知图像中的每一个像素测量是通过视点的光在特定方向上的辐照度。当全向相机的几何形状已知时，即相机校准时，可以为每个像素预先计算出该方向。因此，可以将每个像素测量的辐照度值映射到视点任意距离的平面上，形成平面透视图像。此外，可以将图像映射到以单个视点为中心的球体上，即球形投影(图4，底部)。单视点属性如此重要的另一个原因是它允许用户应用著名的视极几何理论，这对从运动到结构非常重要。极向几何适用于任何中央相机，无论是透视还是全向。

4.2 Omnidirectional camera model and calibration

直观地说，全向相机的模型比标准透视相机稍微复杂一点。该模型确实应该考虑折反射相机的镜面反射，或者鱼眼相机的镜头折射。由于这一领域的文献相当多，本章回顾了两种不同的预测
这些模型已经成为全方位视觉和机器人技术的标准。此外,
已经为这两个模型开发了Matlab工具箱，全世界的专家和非专家都在使用它们。
第一种模型称为中央折反射相机的统一投影模型。它是由Geyer和Daniilidis(后来由Barreto和Araujo[8]改进)在2000年开发的，他们的优点是提出了一个包括所有三种类型的中央折反射相机的模型，即使用双曲镜、抛物面镜或椭圆镜的相机。这个模型是专门为中央折反射相机开发的，对鱼眼相机无效。用折反射透镜近似鱼眼透镜模型通常是可能的-然而，只有有限的精度-在[9]中进行了研究。
相反，第二种模型将中心折反射相机和鱼眼相机统一在一个通用模型下，也称为泰勒模型。它由Scaramuzza等人在2006年开发[10,11]，其优点是折反射相机和屈光相机都可以用同一个模型来描述，即一个泰勒多项式。

4.3 Unified model for central catadioptric cameras(中央折反射相机的统一模型)

Geyer和Daniilidis在2000年发表的具有里程碑意义的论文中指出，每一种折反射(抛物线、双曲线、椭圆线)和标准透视投影都等价于从一个以单一视点为中心的球体到一个以垂直于平面且距离较远的平面为投影中心的平面的投影映射。从球体的中心。图5总结了这一点。
本节的目标是找到场景点的观看方向和其对应图像点的像素坐标之间的关系。Geyer和Daniilidis的投影模型遵循四个步骤。设P = (x, y, z)为以C为中心的镜像参照系中的场景点(图5)。为了方便起见，我们假设镜子的对称轴与相机的光轴完全对齐。我们还假设相机和镜子的x轴和y轴是对齐的。因此，相机和镜像参考系的不同只是沿z轴的平移。

• 第一步是将场景点投射到单位球体上;因此:
  

• 然后将点坐标转换为以c为中心的新参照系= (0,0，…);因此:
  观察到。范围在0(平面镜)和1(抛物面镜)之间。的正确值。可以通过知道圆锥曲线的焦点和直侧肌之间的距离d得到，如表1所示。圆锥剖面的直腹侧是通过平行于圆锥剖面准线的焦点的弦。

• 然后将p投影到距离c1的归一化图像平面上;因此,
  

• 最后，通过本征参数矩阵K将该点m映射到摄像机图像点p= (u, v, 1);因此,
  

• 很容易证明函数g.1是双射的，它的逆g由:
  
  ∝表示g与右边的量成正比。为了得到归一化因子，只要将g(m)归一化到单位球上就足够了。
  式(6)可通过对式(3)求逆，加上p_s必须在单位球上的约束而得，因此 $x_s^2$ + $y_s^2$ +$z_s^2$ = 1 。从这个约束条件，我们得到了zs作为xm和ym的函数的表达式。更多细节可以在[12]中找到。
  
  可以看出式(6)是中心折反相机投影模型的核心。它表示了归一化图像平面上的点m与镜像参考系中单位向量Ps之间的关系。注意，对于平面镜，我们有。$\epsilon$= 0,(6)成为透视相机的投影方程$P_s$∝(xm, ym, 1)。
  该模型已被证明能够准确地描述所有中心折反相机(抛物面镜、双曲镜和椭圆镜)和标准透视相机。Ying和Hu[9]在2004年提出了对鱼眼镜头模型的扩展。然而，通过折反射光学相机来接近鱼眼相机只能在有限的精度下工作。这主要是因为，虽然可以用精确的参数函数(抛物线、双曲线、椭圆)表示三种中心折射率相机，但鱼眼镜头的投影模型因相机而异，并取决于镜头的视场。为了克服这个问题，提出了一个新的统一模型，将在下一节中进行描述。

4.4 Unified model for catadioptric and fisheye cameras（折射率相机和鱼眼相机的统一模型）

该统一模型由Scaramuzza等人在2006年提出[10,11]。与前一个模型的主要区别在于函数g的选择。针对鱼眼相机参数化模型知识不足的问题，提出了利用泰勒多项式的方法，通过标定过程求出泰勒多项式的系数和度。因此,规范化的关系像点m= (xm, ym, 1)和鱼眼的单位向量Ps(镜子)参考系可以写成:

其中，$\rho$ = $\sqrt{x_m^2+y_m^2}$。读者可能已经注意到，多项式的一阶项(即$a_1\rho$ )不见了。这是根据观察得出的，在ρ = 0处计算的多项式的一阶导数对于折反射相机和鱼眼相机都必须是零(这是通过微分(6)对折反射相机进行验证的直接方法)。还要注意，由于它的多项式性质，这个表达式可以包含折反射相机、鱼眼相机和透视相机。这可以通过适当地选择多项式的次数来实现。正如作者所强调的，阶数为3或4的多项式能够非常准确地建模所有折反射相机和市场上可用的多种鱼眼相机。这一模型适用于广泛的商业相机是其成功的根源。

4.5 Omnidirectional camera calibration

全向摄像机的标定与标准视角摄像机的标定类似。同样，最流行的方法利用了用户在不同位置和方向上显示的平面网格。对于全向相机来说，标定图像是在相机周围拍摄的，而不是在单面拍摄的，这一点非常重要。这是为了补偿相机和后视镜之间可能出现的偏差。
值得一提的是，目前有三种开源的Matlab校准工具箱，它们的区别主要在于所采用的投影模型和校准模式的类型。

5 应用

由于相机小型化、光学制造的发展以及相机市场价格的下降，折反射和折反射全向相机越来越多地应用于不同的研究领域。除了声纳外，微型屈光和折反射相机现在也被汽车工业用于提高安全性，为驾驶员提供周围环境的全方位视图。微型鱼眼摄像机用于外科手术的内窥镜，或用于管道检查和救援行动的微型飞行器。其他例子包括天空观测的气象学。
机器人学家也已经使用了全向摄像机，并在机器人定位、地图绘制以及空中和地面机器人导航方面取得了非常成功的结果[18,19,20,21,22,23]。与标准透视相机[24]相比，全向视觉让机器人更容易识别位置。此外,地标可以追踪四面八方,在很长一段时间,这使得对它的估计可能的运动和构建环境地图的精度比肩标准的相机,如图6所示为一些小型的例子全向相机上使用先进的微型飞行器。一些公司，如谷歌，正在使用全向相机来打造逼真的照片街景和城市的三维重建以及纹理。图7中显示了两个示例全向图像。

[1] Yagi, Y., Kawato, S. (1990). Panorama scene analysis with conic projection.
IEEE International Conference on Intelligent Robots and Systems,
Workshop on Towards a New Frontier of Applications
[2] Benosman, R., Kang, S. (2001). Panoramic Vision: Sensors, Theory, and
Applications. New York, Springer-Verlag
[3] Daniillidis, K., Klette, R. (2006). Imaging Beyond the Pinhole Camera.
New York, Springer
[4] Scaramuzza, D. (2008). Omnidirectional vision: from calibration to robot
motion estimation, PhD thesis n. 17635. PhD thesis, ETH Zurich
[5] Sturm, P., Ramalingam, S., Tardif, J., Gasparini, S., Barreto, J. (2010).
Camera models and fundamental concepts used in geometric computer vision.
Foundations and Trends in Computer Graphics and Vision 6(1–2)
[6] (Baker, S., Nayar, S.). A theory of single-viewpoint catadioptric image
formation. International Journal of Computer Vision 35(2)
[7] Geyer, C., Daniilidis, K. (2000). A unifying theory for central panoramic
systems and practical applications. European Conference on Computer
Vision
[8] (Barreto, J.P., Araujo, H.). Issues on the geometry of central catadioptric
image formation
[9] Ying, X., Hu, Z. (2004). Can we consider central catadioptric cameras and
fisheye cameras within a unified imaging model? European Conference on
Computer Vision, Lecture Notes in Computer Science, Springer Verlag
[10] Scaramuzza, D., Martinelli, A., Siegwart, R. (2006). A flexible technique
for accurate omnidirectional camera calibration and structure from motion.
IEEE International Conference on Computer Vision Systems
[11] Scaramuzza, D., Martinelli, A., Siegwart, R. (2006). A toolbox for easy
calibrating omnidirectional cameras. IEEE International Conference on Intelligent
Robots and Systems
[12] (Barreto, J.). Omnidirectional camera calibration toolbox for matlab
(ocamcalib toolbox) http://www.isr.uc.pt/~jpbar/CatPack/pag1.htm.
[13] (Mei, C.). Omnidirectional camera calibration toolbox for matlab
http://homepages.laas.fr/~cmei/index.php/Toolbox.
[14] Mei, C., Rives, P. (2007). Single view point omnidirectional camera calibration
from planar grids. IEEE International Conference on Robotics and
Automation
[15] Barreto, J., Araujo, H. (2005). Geometric properties of central catadioptric
line images and their application in calibration. IEEE Transactions on
Pattern Analysis and Machine Intelligence 27(8) 1237–1333
[16] Barreto, J., Araujo, H. (2006). Fitting conics to paracatadioptric projection
of lines. Computer Vision and Image Understanding 101(3) 151–165
[17] (Scaramuzza, D.). Omnidirectional camera calibration toolbox
for matlab (ocamcalib toolbox) Google for ”ocamcalib” or visit
http://robotics.ethz.ch/~scaramuzza/Davide_Scaramuzza_files/Research/OcamCalib_Tutorial.[18] (Blosch, M., Weiss, S., Scaramuzza, D., Siegwart, R.). Vision based mav
navigation in unknown and unstructured environments. IEEE International
Conference on Robotics and Automation
[19] Bosse, M., Rikoski, R., Leonard, J., Teller, S. (2002). Vanishing points and
3d lines from omnidirectional video. International Conference on Image
Processing
[20] Corke, P., Strelow, D., Singh, S. (2004). Omnidirectional visual odometry
for a planetary rover. IEEE/RSJ International Conference on Intelligent
Robots and Systems
[21] Scaramuzza, D., Siegwart, R. (2008). Appearance-guided monocular omnidirectional
visual odometry for outdoor ground vehicles. IEEE Transactions
on Robotics, Special Issue on Visual SLAM 24(5)
[22] Scaramuzza, D., Fraundorfer, F., , Siegwart, R. (2009). Real-time monocular
visual odometry for on-road vehicles with 1-point ransac. IEEE International
Conference on Robotics and Automation
[23] Tardif, J., Pavlidis, Y., Daniilidis, K. (2008). Monocular visual odometry
in urban environments using an omnidirectional camera. IEEE/RSJ
International Conference on Intelligent Robots and Systems
[24] Scaramuzza, D., Fraundorfer, F., Pollefeys, M. (2010). Closing the loop
in appearance-guided omnidirectional visual odometry by using vocabulary
trees. Robotics and Autonomous System Journal, Elsevier 58(6)

拓展

另推荐一门深蓝学院开设讲解从光线到图像——相机成像的原理的线上课程，可以整体框架的细节理解和运用都能起到很好的帮助:

链接：从光线到图像——相机成像的原理：