【鱼眼镜头5】[中央全向相机畸变模型]：统一相机模型，四阶多项式对统一相机模型进行建模

名词解释

1、全向相机

全向相机一种360度视野的全向相机，通过消除对更多摄像机或机械可旋转摄像机的需求，提供了增强的覆盖。

有不同类型的全向摄像机，它们的视野可以覆盖整个半球甚至整个球体。

2、反射折射相机
反射折射照相机将标准相机（透镜）与形状镜子(如抛物面镜、双曲镜或椭圆镜)结合起来；

3、折射相机
折射照相机则使用纯折射鱼眼透镜。

4、多折射相机
多折射摄像机使用多个具有重叠视场的摄像机来提供完整的球形视场。

5、中央投影与非中央投影

一种全向相机的分类是基于投影中心:

• 中心（中央）
• 非中心（非中央）。

在中央摄像机中，到达被观察对象的光线在三维中相交于一个点上，这被称为单有效视点特性。这种特性允许从全向摄像机捕捉的图像生成几何正确的透视图，从而应用于任何中央摄像机。通过选择镜面形状和摄像机与镜面之间的距离，建立了中心反射式摄像机。

全向相机的失真

与针孔相机相比，全向相机的标定由于失真度高，无法用直线投影的方式进行建模。

模型应该考虑镜面在反射折射相机的条件下的反射，或者鱼眼相机的镜头引起的折射。

1、模型

1.1针孔模型

Pinhole 该模型在齐次坐标中是一个线性射影变换，具有保直线性质，它成为一种最简单的模型。

但是该模型的最大的缺点是不能模拟大视场角的相机，角度的分辨率随着朝着图像边界而迅速降低，导致了图像的失真。

为了减少这样的畸变，一般会选择使用非线性的畸变函数(通常为多项式)应用于投影出的像素坐标。

不过，由于针孔投影的性质，禁止点出现在图像平面的后面，限制了相机的视场角必须小于180°

1.2 多针孔模型

Array of Pinhole: 一个扩展相机视场角的很简单的方法就是使用一组针孔相机的组合(光心重合，即无平移)来模拟相机模型。投射的函数会将点通过一个旋转变换到对应的针孔相机的坐标系下，然后使用对应的针孔投影函数进行投影。

其中i(x)函数是将3D空间划分为k个子空间，各个子空间对应一个针孔相机模型。尽管我们可以随意的划分子空间，但是为了计算i(x)方便，我们将子空间设为到长方体延伸平面的划分。这样的模型在齐次坐标系下是分片线性的，并且具有不错的角度分辨率。但是这样的方法在图像平面上是不连续的，导致了后续处理的复杂性。

1.3 统一投影模型

Geyer & Daniilidis(2000)为所有中央折射系统提供了统一的理论，在文献中被称为统一投影模型，广泛应用于不同的校准工具箱(Mei & Rives (2007);Heng等(2013,2015))。他们证明了每一个投影，无论是标准视角还是利用双曲反射镜、抛物面镜或椭圆镜，可以用投影映射从球面到投影中心位于球面直径和垂直于球面的平面进行建模。

Unified Model: 我们使用的模型的核心思想是连接两个连续的投影，第一个投影将点从世界坐标系下投影到以相机为中心的单位球体上。接着是一个将光心沿着光轴移动-δ普通的针孔相机投影。模型使用5个参数来描述，fx, fy, cx, cy, δ。

反向投影可以表示为：

其中

这个模型的优势是方便于计算投影与反投影的函数，注意当δ为0的时候退化为一个简单的针孔模型。同样的，我们可以在这个模型上添加上小的径向-切向畸变，可以对图像进行去畸变后更好的适应这个模型。

1.3.1 四阶多项式建模

Scaramuzza和Martinelli(2006)提出用泰勒级数展开对成像函数进行建模，泰勒级数展开的程和系数是待估计的参数。三阶或四阶多项式能够准确地建模所有的反射摄像机和多种鱼眼摄像机。Mei & Rives(2007)在统一项目基础上进行改进，通过对具有良好识别参数的失真模型进行建模来考虑现实世界中的错误。

2 非中心相机模型

尽管单视点特性是理想的，但由于可变焦距透镜和精确对准的困难，它在实践中经常被违反。但是，作为备选方案的非中心模型需要大量计算，因此不适合实时应用程序。

Schonbein等人(2014)扩展了一种非中心的方法，以精确地获得观察光线的朝向，然后提出了一种快速的中心近似方法，用映射来匹配获得的朝向。这种方法在超反射光摄像机上进行了测试，实现了比中心模型更低的重投影误差(geyer&daniilidis, 2000);

Scaramuzza和Martinelli (2006);Mei & Rives(2007))和非中心模型相比，速度快得多。

Schonbein & Geiger(2014)提出了一种利用基于平面先验的方法，在一个统一的全向空间中，从两个时空相邻的全向视图联合优化视差估计，实现三维重建。

Hane等人(2014)将鱼眼相机的统一投影模型直接加入到鱼眼立体匹配算法中，扩展了鱼眼相机的扫描立体匹配。

参考：

https://jakobengel.github.io/pdf/caruso2015_omni_lsdslam.pdf
https://www.sohu.com/a/344318595_715754
https://hal.archives-ouvertes.fr/hal-01722264/document