传统的、广角的和鱼眼的镜头的通用模型和标定方法

作者： Juho Kannala and Sami S. Brandt
原文： A Generic Camera Model and Calibration Method for Conventional,
Wide-Angle, and Fish-Eye Lenses

摘要

鱼眼镜头在那种需要非常宽广视角的应用中非常便利，但又由于缺乏准确性，通用性以及易于使用的标定程序，使得它在以测量为目的的应用中受到限制。因此, 我们提出了一个通用的相机模型, 它适用于鱼眼镜头相机以及传统和广角镜头相机, 并给出了一种估计模型参数的校准方法。该标定方法的精确度跟以前最先进的标定方法精度相当。
索引：相机模型，相机标定，镜头畸变，鱼眼镜头，广角镜头

I. 介绍

对于窄角镜头和广角镜头^{1 2 3}来说，带有畸变的针孔模型能够很好的近似，但是对于鱼眼镜头仍然不适合。鱼眼镜头被设计成覆盖相机前方的全部半球形区域，视角非常大，接近180⁰，更进一步说，通过透视投影投影整个半球形视角到有限的图像平面上是不可行的。因此鱼眼镜头被设计成其他的相机投影模型。这就是为什么鱼眼镜头的固有（内在）畸变不能仅仅视为针孔模型偏差的原因⁴。

^{5 6 7}已经进行了一些努力来模拟具有不同模型的鱼眼镜片的径向对称畸变。这些方法的思想都是变换鱼眼图像使其遵循针孔模型。畸变模型的参数通过将不是直线的线经过强制变化成直线来估计^{8 9}，该方法没有给出完整的标定，它们仅仅可以 “纠正” 图像以遵循针孔模型, 但当需要知道与图像点相对应的反投影射线的方向时, 其适用性是有限的。^{10 11}意在标定鱼眼镜头。然而, 由于需要激光束或圆柱形校准对象, 这些方法在实践中略显繁琐。

最近, 首次出现了鱼眼镜头相机的自动校准方法^{12 13 14}。Miˇcuˇ s´ık和 B. and Pajdla¹²提出了极几何（epipolar geometry）和全向相机模型（omnidirectional camera mode）同时线性估计的方法，.Claus和Fitzgibbon¹⁴提出了类似的相机运动和镜头几何的同时在线估计方法，Thirthala和Pollefeys¹³使用径向一维相机的多视图几何来估计非参数相机模型。另外， Barreto 和 Daniilidis¹⁵介绍了一种用于校正广角透镜变形的径向基本矩阵。 然而，这些方法的重点是在自动校准技术，而不是在实际镜头的精确建模。

本文主要集中在实际的精准相机模型 ²，并提出了一个新颖的标定鱼眼相机的方法，该方法需要相机观测一个平面模板，例如棋盘格。该标定方法基于一个通用摄像机模型，该相机模型适用于不同类型的全向摄像机以及传统摄像机。首先，在第二节中，我们提出了相机模型，在第三节中，通过比较不同的投影模型，从理论上证明了这一点。在第四节中，我们描述了一个估计相机参数的程序，并在第五节和第六节中陈述和讨论了实验结果。

II. 通用相机模型

由于透视投影模型不适合鱼眼镜头，我们使用更加灵活的径向对称投影模型。这个模型在第二节A部分介绍，接着第二节B部分扩展了径向对称到非对称畸变项，回投影(back-projection)的计算在第二节C部分描述。

A. 径向对称模型

针孔相机的透视投影可以使用下面的公式描述：
$$r=f\tan \theta (i.透视投影)\text{\hspace{1em}(1)}$$
其中$\theta$是主轴(principal axis)和入射线的夹角，$r$是图像点和主点之间的距离，$f$是焦距，然而鱼眼镜头通常被设计成服从下面的投影：
$$r=2f\tan (\theta /2)(ii.立体投影)\text{\hspace{1em}(2)}$$

$$r=f\theta (iii.等距投影)\text{\hspace{1em}(3)}$$

$$r=2f\sin (\theta /2)(iv.等角投影)\text{\hspace{1em}(4)}$$

$$r=f\sin (\theta )(v.正交投影)\text{\hspace{1em}(5)}$$

可能最常见的模型是等距投影，不同投影的描述如fig.1(a)所示，针孔相机和鱼眼相机的不同如fig.1(b)所示。
然而实际的镜头不可能是上面提到的精确的设计模型。从自动标定的视角来说，如何我们能够仅仅使用一种模型，它能够适用各种镜头那将非常的有用。因此，我们考虑一般的投影形式：

$$r(\theta )=k_1\theta +k_2{\theta }^3+k_3{\theta }^5+k_4{\theta }^7+k_5{\theta }^9+...\text{\hspace{1em}(6)}$$

为了不失一般性，去掉了偶次方项。这是因为可以把$r$作为奇数函数扩展到负向的一侧（因为奇数函数可以张成(span)连续奇数集）。为了计算等式(6)，我们需要固定项的数量。我们发现，从$\theta$ 5项到9项对于不同的投影曲线都能够很好自由度的近似。因此，我们相机模型径向对称部分包含5个参数, $k_1,k_2,k_3,k_4,k_5$。

让$F$表示从入射光线到归一化图像坐标的映射：
$$\left[\begin{array}{cc}x& \\ y& \end{array}\right]=r(\theta )\left[\begin{array}{c}\cos \psi \\ \sin \psi \end{array}\right]=\mathcal{F}(\Phi )\text{\hspace{1em}(7)}$$
其中$r(\theta )$包含了等式6前5项，$\Phi =(\theta ,\psi {)}^T$是入射线的方向。对于真实的镜头，参数$k_i$的值使得$r(\theta )$在区间$[0,{\theta }_{max}]$上单调增加，其中${\theta }_{max}$表示最大视角。因此，当计算$F$的逆时，我们通过数值找到九阶多项式的根,然后选择0到${\theta }_{max}之间的实根$求解$\theta$。

B. 完整模型（Full Model）

真实的镜头可能与精确的径向对称偏离，因此，我们提供了一个非对称部分。例如，镜头元件可能不是精确的对准，导致投影不是精确的径向对称。对于传统镜头，这种失真（畸变）叫做偏心（偏离中心）失真。然而，光学系统中还存在其他的缺陷源，其中一些可能难以建模。例如，图像平面可能相对主轴倾斜，或者各个元器件可能不是精确地径向对称。因此，我们没有试图单独模拟光学系统中的各种不同的物理现象，而是提出了灵活的数学失真模型，该模型适合观察结果。

为了获得广泛的应用，灵活的模型，我们提出了两种畸变项，一种畸变项在径向方向上起作用：
$${\delta }_r(\theta ,\psi )=(l_1\theta +l_2{\theta }^3+l_3{\theta }^5)(i_1\cos \psi +i_2\sin \psi +i_3\cos 2\psi +i_4\sin 2\psi )\text{\hspace{1em}(8)}$$

一种在切向方向上起作用：
$${\delta }_t(\theta ,\psi )=(m_1\theta +m_2{\theta }^3+m_3{\theta }^5)(j_1\cos \psi +j_2\sin \psi +j_3\cos 2\psi +j_4\sin 2\psi )\text{\hspace{1em}(9)}$$

畸变函数中的$\theta$变量和$\psi$变量是分开的。因为任何连续$2\pi$周期的傅里叶级数收敛于$L_2$范数，并且连续奇函数都可以用一系列奇数多项式表示，原则上可以通过简单的增加更多项来模拟任何类型的连续失真，等式8 和等式9就是那样，都有7个参数模拟。增加径向和切向畸变到等式(7)，我们可或得失真（畸变）的坐标${\mathbf{x}}_{\mathbf{d}}=(x_d,y_d{)}^T$,即：

$${\mathbf{x}}_{\mathbf{d}}=r(\theta ){\mathbf{u}}_{\mathbf{r}}(\psi )+{\Delta }_r(\theta ,\psi ){\mathbf{u}}_{\mathbf{r}}(\psi )+{\Delta }_t(\theta ,\psi ){\mathbf{u}}_{\psi }(\psi )\text{\hspace{1em}(10)}$$
其中，${\mathbf{u}}_{\mathbf{r}}(\psi )$和${\mathbf{u}}_{\psi }(\psi )$是径向和切向方向上的单位向量。为了获取完整的相机模型，我们仍然需要变换传感器平面坐标到图像像素坐标。假设像素坐标系是正交的，我们将从下面的表达式中得到像素坐标$(u,v{)}^T$

$$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{cc}{m}_u& 0\\ 0& m_v\end{array}\right]\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]=\mathcal{A}({\mathbf{x}}_{\mathbf{d}})\text{\hspace{1em}(11)}$$

其中$(u_0,v_0{)}^T$是主点坐标，$m_u$和$m_v$分别是水平方向和垂直方向上单位距离的像素的个数。结合等式(10)和等式(11),我们有前向相机模型：

$$\mathbf{m}={\mathcal{P}}_c(\Psi )\text{\hspace{1em}(12)}$$

其中， $m=(u,v{)}^T$，full 相机模型包含23个参数，使用$p_{23}$表示。由于模型的不对称部分非常灵活，因此，有时使用更少的的相机模型参数是合理的，避免了过度的拟合。例如，如果控制点（control point）没有覆盖整个图像区域就是这种情况。这样我们去掉不对称部分，给出了$p_9$的相机模型：径向部分对应到等式7，仿射部分对应到等式11的四个参数。

C. Backward Model (反投影模型)

上面我们已经描述了前向相机模型 $P_c$，实际上，我们也需要知道反投影模型：

$$\Psi ={\mathcal{P}}_c^{-1}(\mathbf{m})\text{\hspace{1em}(13)}$$
等式13表示从图像点$m=(u,v{)}^T$到入射光线方向$\Psi =(\theta ,\psi )$的入射。我们将$P_c$写成一个复合的函数${\mathcal{P}}_c=\mathcal{A}\circ \mathcal{D}\circ \mathcal{F}$，其中$\mathcal{F}$表示等式7中从射线方向$\Psi$到理想的卡氏坐标$\mathbf{x}=(x,y{)}^T$的变换。$\mathcal{D}$表示从$\mathbf{x}$到失真（畸变）坐标${\mathbf{x}}_{\mathbf{d}}=(x_d,y_d{)}^T$的失真（畸变）映射，$\mathcal{A}$表示等式11中的仿射变换。我们分解公式的原因是，对于变换${\mathcal{P}}_c^{-1}={\mathcal{F}}^{-1}\circ {\mathcal{D}}^{-1}\circ {\mathcal{A}}^{-1}$，计算${\mathcal{F}}^{-1}$和${\mathcal{A}}^{-1}$非常直接，比较困难的部分是计算${\mathcal{D}}^{-1}$。

给一个点${\mathbf{x}}_{\mathbf{d}}$，找$\mathbf{x}={\mathcal{D}}^{-1}({\mathbf{x}}_{\mathbf{d}})$等价于计算$\mathbf{x}={\mathbf{x}}_{\mathbf{d}}-\mathbf{s}$偏移量$\mathbf{s}$，其中

$$\mathbf{s}=\mathcal{S}(\Psi )={\Delta }_r(\theta ,\psi ){\mathbf{u}}_{\mathbf{r}}(\psi )+{\Delta }_t(\theta ,\psi ){\mathbf{u}}_{\psi }(\psi )\text{\hspace{1em}(14)}$$
进一步说，我们可以写$\mathcal{S}(\Psi )\equiv (\mathcal{S}\circ {\mathcal{F}}^{-1})(\mathbf{x})$，并通过$\mathcal{S}\circ {\mathcal{F}}^{-1}$的一阶泰勒公式在${\mathbf{x}}_{\mathbf{d}}$附近近似偏移量$\mathbf{s}$得到

$$\mathbf{s}\simeq (\mathcal{S}\circ {\mathcal{F}}^{-1})({\mathbf{x}}_{\mathbf{d}})+\frac{\partial (\mathcal{S}\circ {\mathcal{F}}^{-1})}{\partial \mathbf{x}}({\mathbf{x}}_{\mathbf{d}})(\mathbf{x}-{\mathbf{x}}_{\mathbf{d}})=\mathcal{S}({\Psi }_d)-\frac{\partial \mathcal{S}}{\partial \Psi }(\frac{\partial \mathcal{F}}{\partial \Psi }({\Psi }_d){)}^{-1}\mathbf{s}$$
其中，${\Psi }_d={\mathcal{F}}^{-1}({\mathbf{x}}_{\mathbf{d}})$可以被数值化估计，因此，我们可以从等式15计算偏移量$\mathbf{s}$

$$\mathbf{s}\simeq (I+\frac{\partial \mathcal{S}}{\partial \Psi }({\Psi }_d)(\frac{\partial \mathcal{F}}{\partial \Psi }({\Psi }_d){)}^{-1}{)}^{-1}\mathcal{S}({\Psi }_d)\text{\hspace{1em}(15)}$$

其中，雅克比$\frac{\partial \mathcal{S}}{\partial \Psi }$和$\frac{\partial \mathcal{F}}{\partial \Psi }$从
等式14和等式7中计算，因此，最终

$${\mathcal{D}}^{-1}({\mathbf{x}}_{\mathbf{d}})\simeq {\mathbf{x}}_{\mathbf{d}}-(I+(\frac{\partial \mathcal{S}}{\partial \Psi }\circ {\mathcal{F}}^{-1})({\mathbf{x}}_{\mathbf{d}})((\frac{\partial \mathcal{F}}{\partial \Psi }\circ {\mathcal{F}}^{-1})({\mathbf{x}}_{\mathbf{d}}){)}^{-1}{)}^{-1}(\mathcal{S}\circ {\mathcal{F}}^{-1})({\mathbf{x}}_{\mathbf{d}})\text{\hspace{1em}(16)}$$
看起来非对称畸变（失真）函数$\mathcal{D}$的一阶近似在实践中是成立的，因为回投模型的误差通常比正向模型的校准精度小几度，具体见第5节。

III. 投影模型矫正

传统的相机标定的方法以透视投影模型开始点，然后应用失真（畸变）项补偿。然而，对于鱼眼镜头这不是一个有效的方法，因为当$\theta$接近$\pi /2$时，透视投影点到无线远处，这就导致了不可能用传统的畸变模型去除这种奇点。因此，我们将校准方法基于更通用的模型(即等式6)。

我们将等式6的投影模型与Mičušı́k¹⁶提出的针对鱼眼镜头的两个两参数模型作比较。
$$\begin{gathered} r=\frac{a}{b}\sin (b\theta )(M1) \\ r=\frac{a-\sqrt{a^2-4b{\theta }^2}}{2b\theta }(M2) \end{gathered}$$
图2中我们画了(1)–(5)投影曲线（即图一中的5个投影）以及模型$M1,M2,P3$ 的最小二乘的近似，其中$P_3$指的是等式6的前两项。这里我们假设$f=200$ pixels,这对于真实的相机也是一个合理的值。投影值在$[0,{\theta }_{max}]$之间近似，其中${\theta }_{max}$分别取$60^{\circ },110^{\circ },110^{\circ },110^{\circ },90^{\circ }$。在$[0,{\theta }_{max}]$用0.1的步长离散化，$M1,M2$用Levenberg-Marquardt拟合。从图2可以看出，$M1$对所有的透视投影和立体投影都不适合，$M2$对于正交投影不精确。

TABLE I中列列出了每个模型的最大误差，即图2中每个期望的曲线与近似曲线之间的最大水平距离。这里我们也模拟了$P9$,也就是多项式的前5项。可以看出模型$P3$在所有的2参数模型中有很好的性能，所有投影曲线的亚像素精度需要模型$P9$，这些结果表明，我们相机径向对称部分被很好的矫正了。

IV. 标定一般模型

接下来我们将要描述估计一般相机模型的步骤。标定方法基于观察已知位置中的控制点的平面物体（如棋盘格），与以前的方法相比，鱼眼镜头可能具有大于$180^{\circ }$的视野，也可以通过观察平面图案来标定。此外，如果使用圆形的控制点可以获得更高的精度，如IV-B中所述。

标定算法

标定程序包含下面所述的四个步骤。假设有N个视图的M个控制点，每一个视图有一个旋转矩阵$R_j$和一个平移矩阵$t_j$描述相机相对于标定板平面的位置
$${\mathbf{X}}_{\mathbf{c}}={\mathbf{R}}_{\mathbf{j}}\mathbf{X}+{\mathbf{t}}_{\mathbf{j}},j=1,...,N\text{\hspace{1em}(17)}$$
我们选择一个在X-Y平面内的标定平面，控制点$i$的坐标用${\mathbf{X}}^i=(X^i,Y^i,0{)}^T$表示。在标定平面上对应的齐次坐标表示为${\mathbf{x}}_p^i=(X^i,Y^i,1{)}^T$，被$j$视图观察的坐标表示为${\mathbf{m}}_j^i=(u_j^i,v_j^i)$。标定程序的前三个步骤仅仅涉及到相机的6个内部参数${\mathbf{p}}_6=(k_1,k_2,m_u,m_v,u_0,v_0)$。仅在最后一步插入完整模型的附加参数。

步骤一：内部参数的初始化

$k_1,k_2$的初始化猜想可以通过拟合$r=k_1\theta +k_2{\theta }^3$拟合期望(2)–(4)的投影获得，其中制造商标称的焦距$f$值和${\theta }_{max}$是已知的（可以根据手册查）。我们也可以获得传感器平面的最大图像半径$r_{max}=k_1{\theta }_{max}+k_2{\theta }^3$。

带有圆形图像的鱼眼镜头，实际的图像仅仅填充图像帧内的圆形区域，在像素坐标中，该圆是个椭圆，它的参数可以被估计。

$$(\frac{u-u_0}{a}{)}^2+(\frac{v-v_0}{b}{)}^2=1,$$
因此，我们获取剩余参数$m_u,m_v,u_0,v_0$的初始化猜想，其中$m_u=a/r_{max}$, $m_v=b/r_{max}$。对于full-frame相机镜头，最好的方法是将主点放在图像中心，并使用像素的维度（尺寸）值来获取$m_u$和$m_v$的初始值。

步骤二：反投影和单应性的计算

利用内部参数$\mathbf{p}6=(k_1,k_2,m_u,m_v,u_0,v_0{)}^T$将观察点${\mathbf{m}}_j^i$反投影到以相机源点为中心的单位球面上（参见图一(b)），球面上的点用${\tilde{\mathbf{x}}}_j^i$表示。由于标定平面上的点和单位球面上点的映射为中心投影，所以一个平面的单应性${\mathbf{H}}_j$有$s{\tilde{\mathbf{x}}}_j^i={\mathbf{H}}_j{\mathbf{x}}_p^i$。

对于每一个视图$j$单应性${\mathbf{H}}_j$通过下面计算：

(i) 首先通过计算归一化图像坐标坐标反投影控制点
$$\left(\begin{array}{c}{x}_j^i\\ y_j^i\end{array}\right)=\left[\begin{array}{cc}1/m_u& 0\\ 0& 1/m_v\end{array}\right]\left(\begin{array}{c}{u}_j^i-u_0\\ v_j^i-v_0\end{array}\right)$$
变换成极坐标表示$(r_j^i,{\psi }_j^i)\widehat{=}(x_j^i,y_j^i)$,最后解${\theta }_j^i$从立方等式$k_2({\theta }_j^i)+k_1{\theta }_j^i-r_j^i=0$。

(ii) 设置${\tilde{\mathbf{x}}}_j^i=(\sin {\psi }_j^i\sin {\theta }_j^i,\cos {\psi }_j^i\sin {\theta }_j^i,\cos {\theta }_j^i{)}^T$。
(iii)使用匹配点${\hat{\mathbf{x}}}_j^i⟺{\mathbf{x}}_p^i$的数据归一化线性算法计算${\mathbf{H}}_j$的初始化估计。将${\hat{\mathbf{x}}}_j^i$定义为在${\mathbf{H}}_j$条件下的精确图像，有${\hat{\mathbf{x}}}_j^i={\mathbf{H}}_j{\mathbf{x}}_p^i/||{\mathbf{H}}_j{\mathbf{x}}_p^i||$。
(iv) 最小化${\sum }_i{\sin }^2{\alpha }_j^i$精确单应性${\mathbf{H}}_j$，其中${\alpha }_j^i$是${\tilde{\mathbf{x}}}_j^i$和${\hat{\mathbf{x}}}_j^i$之间的夹角。

步骤三：外部参数的初始化

相机外参的初始值从单应矩阵${\mathbf{H}}_{\mathbf{j}}$提取。我们有
$$s{\tilde{\mathbf{x}}}_j^i=[{\mathbf{R}}_{\mathbf{j}}{\mathbf{t}}_{\mathbf{j}}]\left(\begin{array}{c}{X}^i\\ Y^i\\ 0\\ 1\end{array}\right)=\left[\begin{array}{ccc}{\mathbf{r}}_{\mathbf{j}}^1& {\mathbf{r}}_{\mathbf{j}}^2& {\mathbf{t}}_{\mathbf{j}}\end{array}\right]\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)$$

上面的等式表明在差了一个尺度的情况下${\mathbf{H}}_{\mathbf{j}}=[{\mathbf{r}}_{\mathbf{j}}^1{\mathbf{r}}_{\mathbf{j}}^2{\mathbf{t}}_{\mathbf{j}}]$，进一步有
$${\mathbf{r}}_{\mathbf{j}}^1={\lambda }_{\mathbf{j}}{\mathbf{h}}_{\mathbf{j}}^1,{\mathbf{r}}_{\mathbf{j}}^2={\lambda }_{\mathbf{j}}{\mathbf{h}}_{\mathbf{j}}^2,{\mathbf{r}}_{\mathbf{j}}^3={\mathbf{r}}_{\mathbf{j}}^1\times {\mathbf{r}}_{\mathbf{j}}^2,{\mathbf{t}}_{\mathbf{j}}={\lambda }_{\mathbf{j}}{\mathbf{h}}_{\mathbf{j}}^3$$
其中${\lambda }_j=sign(H_j^{3,3})/\Vert {\mathbf{h}}_{\mathbf{j}}^1\Vert$。由于估计误差的存在，获取的旋转矩阵不可能是正交的，因此，我们使奇异值分解计算在Frobenius 范数上最接近的正交矩阵并把它作为每个${\mathbf{R}}_{\mathbf{j}}$的初始值猜想。

步骤四：最小化重投影误差

如果使用完整的模型(full model)$p_{23}$和$p_9$，则在此阶段将额外相机参数初始化为0。由于我们有内参和外参的估计，利用等式（17）,（7）或（10）,（11）计算每个相机的图像函数${\mathcal{P}}_j$，其中控制点被投影到${\tilde{\mathbf{m}}}_{\mathbf{j}}^{\mathbf{i}}={\mathcal{P}}_j({\mathbf{X}}^{\mathbf{i}})$。相机参数通过测量值和模型的控制点之间的最小pingfang根和精确并使用Levenberg-Marquardt算法优化。
$$\sum _{j=1}^N\sum _{i=0}^{M}d({\mathbf{m}}_{\mathbf{j}}^{\mathbf{i}},{\tilde{\mathbf{m}}}_{\mathbf{j}}^{\mathbf{i}}{)}^2\text{\hspace{1em}(18)}$$

B. 圆形控制点的修改

为了实现精确校准，我们使用了带有白色圆圈黑色背景的校准平面，因为投影圆的质心可以达到亚像素级精度¹⁷。然而，在这个配置中投影圆的质心不是原始圆质心的图像。因此，由于式(18)中的${\mathbf{m}}_{\mathbf{j}}^{\mathbf{i}}$是测量的质心，我们不应该把它作为 ${\tilde{\mathbf{m}}}_{\mathbf{j}}^{\mathbf{i}}$质心。
为了避免上面的问题，我们提出了求解投影圆中心的方法，参数化以$(X_0,Y_0)$为圆心，半径为$R$的内部点$\mathbf{X}(\rho ,\alpha )=(X_0+\rho \sin \alpha ,Y_0+\rho \cos \alpha ,0{)}^T$。给定相机参数，我们通过估计等式(19)得到圆的质心$\tilde{\mathbf{m}}$
$$\tilde{\mathbf{m}}=\frac{{\int }_0^R{\int }_0^{2\pi }\tilde{\mathbf{m}}(\rho ,\alpha )|det\mathbf{J}(\rho ,\alpha )|d\alpha d\rho }{{\int }_0^R{\int }_0^{2\pi }|det\mathbf{J}(\rho ,\alpha )|d\alpha d\rho }$$

其中$\tilde{\mathbf{m}}(\rho ,\alpha )=\mathcal{P}(\mathbf{X}(\rho ,\alpha ))$和$\mathbf{J}(\rho ,\alpha )$是组合函数$\mathcal{P}\circ \mathbf{X}$的雅克比。雅克比的解析解是一项相当繁重的工作，但可以通过Maple等数学软件计算。

V. 标定实验

A. 传统和广角镜头相机

本文提出的方法与Heikki²中的使用的相机模型作对比，该模型具有4个畸变（失真）参数的零倾斜(skew-zero)的针孔模型,用${\delta }_8$。

---

1. Brown, D. C.: “Close-range camera calibration”, Photogrammetric Engineering, 37(8):855-866, 1971. ↩︎

2. Heikkil¨ a, J.: “Geometric camera calibration using circular control points”, TPAMI, 22(10):1066-1077, 2000. ↩︎ ↩︎ ↩︎

3. Swaminathan, R. and Nayar, S. K.: “Nonmetric calibration of wide-angle lenses and polycameras”, TPAMI, 22(10):1172-1178, 2000. ↩︎

4. Miyamoto, K.: “Fish eye lens”, Journal of the Optical Society of America, 54(8):10601061, 1964. ↩︎

5. Bräuer-Burchardt, C. and Voss, K: “A new algorithm to correct fish-eye- and strong
   wide-angle-lens-distortion from single images”, Proc. ICIP, pp. 225-228, 2001. ↩︎

6. Devernay, F. and Faugeras, O.: “Straight lines have to be straight”, Machine Vision and
   Applications, 13(1):14-24, 2001. ↩︎

7. Basu, A. and Licardie, S.: “Alternative models for fish-eye lenses”, Pattern Recognition Letters, 16:433-441, 1995. ↩︎

8. Br¨auer-Burchardt, C. and Voss, K: “A new algorithm to correct fish-eye- and strong wide-angle-lens-distortion from single images”, Proc. ICIP, pp. 225-228, 2001 ↩︎

9. Devernay, F. and Faugeras, O.: “Straight lines have to be straight”, Machine Vision and Applications, 13(1):14-24, 2001. ↩︎

10. Shah, S. and Aggarwal, J.: “Intrinsic parameter calibration procedure for a (highdistortion) fish-eye lens camera with distortion model and accuracy estimation”, Pattern Recognition, 29(11):1775-1788, 1996. ↩︎

11. Bakstein, H. and Pajdla, T.: “Panoramic Mosaicing with a 180◦Field of View Lens”, Proc. IEEE Workshop on Omnidirectional Vision, pp. 60-67, 2002. ↩︎

12. Miˇcuˇ s´ık, B. and Pajdla, T.: “Estimation of omnidirectional camera model from epipolar geometry”, Proc. CVPR, pp. 485-490, 2003. ↩︎ ↩︎

13. Thirthala, S. and Pollefeys, M.: “Multi-view geometry of 1D radial cameras and its application to omnidirectional camera calibration”, Proc. ICCV , pp. 1539-1546, 2005. ↩︎ ↩︎

14. Claus, D. and Fitzgibbon, A. W.: “A rational function lens distortion model for general cameras”, Proc. CVPR, pp. 213-219, 2005. ↩︎ ↩︎

15. Barreto,J.P.andDaniilidis,K.:“Fundamentalmatrixforcameraswithradialdistortion”, Proc. ICCV ↩︎

16. Mičušı́k, B.: Two-View Geometry of Omnidirectional Cameras, PhD. Thesis, Czech
    Technical University, 2004. ↩︎

17. Heikkilä, J. and Silvén, O.: “Calibration procedure for short focal length off-the-shelf CCD cameras”, Proc. ICPR, pp. 166-170, 1996. ↩︎