分层逐步相机自标定方法

最新推荐文章于 2024-06-27 13:28:04 发布

谜之_摄影爱好者

最新推荐文章于 2024-06-27 13:28:04 发布

阅读量2k

点赞数 2

文章标签：计算机视觉

本文链接：https://blog.csdn.net/baidu_31982893/article/details/124397179

版权

近年来，分层逐步相机自标定方法成为自标定研究中的热点之一，并在实际应用中逐渐取代了直接求解Kruppa方程的方法。

分层逐步相机自标定方法是将摄像机自标定方法分成三部分。第一步，要求对图像序列作射影重建；第二步，从射影重建到仿射重建，根据绝对二次曲线的性质计算出仿射方程也就是无穷远平面的方程；第三步，从仿射重建到度量重建，计算相机的内参数矩阵。

1.Triggs的方法

Triggs最早将绝对二次曲面的概念引入到自标定的研究中来，应用绝对二次曲面 $\Omega ^{*}$ 对应着图像上的绝对二次曲线像的对偶 $\omega ^{*}$ ，既有式子成立：

$\omega ^{*}\equiv KK^{T}=\lambda _{i}P_{i}\Omega ^{*}P_{i}^{T}$

将相机内参数的自身约束转移到对 $\Omega ^{*}$ 的约束的纽带。消去 $\lambda _{i}$ 可得式子：

$[\omega ]_{kl}\left \lfloor P_{i}\Omega P_{i}^{T} \right \rfloor-[\omega ]_{kT}\left \lfloor P_{i}\Omega P_{i}^{T} \right \rfloor=0$

式子中的 $[...]_{kl}$ 表示矩阵第k行l列元素，对于每一幅图像，可得到15个形式如上式的方程，但其中只有5个是独立的。Triggs提出了两种方法求解该方程组。第一种方法利用SQP(Sequential quadratic programming)，利用该方法，给定至少3幅图像即可完全标定，初始值由预估得到。第二种方法被称为半线性方法（Quasi-linear）。非线性方法存在着过分参数化的倾向，噪声大时误差也较大。

基于 $\Omega ^{*}$ 的自标定方法与基于Kruppa方程的方法在本质上是一致的，都是利用绝对二次曲线在欧氏变换下的不变性，但在输入多幅图像并能得到一致射影重建的情形下，前者较后者更具有优势，其根源在于 $\Omega ^{*}$ 包含了无穷远平面和绝对二次曲线的所有信息，而基于 $\Omega ^{*}$ 的自标定方法又是在对所有图像作射影重建的基础上计算 $\Omega ^{*}$ ，从而保证了无穷远平面对所有图像的一致性。

2.Heyden的方法

Heyden提出了基于对偶二次曲线的方法。该方法通过求解下面的两个式子的优化函数可以解出内参数矩阵K。

$\lambda _{i}P_{i}\begin{bmatrix} KK^{T} & K^{T}a_{\infty }\\ a_{\infty }^{T}K& \pi _{\infty }^{T}a_{\infty } \end{bmatrix}P_{i}^{T}=KK^{T}$

$f(K,a_{\infty },\lambda )=\sum_{i}\left \| \lambda _{i} P_{I}\begin{bmatrix} KK^{T} & K^{T}a_{\infty }\\ a_{\infty }^{T}K& \pi _{\infty }^{T}a_{\infty } \end{bmatrix}P_{i}^{T}-KK^{T}\right \|^{2}$

这种方法也存在着计算量大，优化的收敛性难以保证的弊端。并且该方法很大的缺点是对每个视角都引入了未知的常数因子，这在长序列图像中会导致收敛问题。

3.Pollefeys的方法

Pollefeys等从单应矩阵和绝对二次曲线出发推导出了类似的结果。由于无穷远平面上的绝对二次曲线的像不随相机运动而改变。Pollefeys建议利用Levenberg-Marquart算法优化式以解出内参矩阵K。

$\sum_{i=2}^{n}\left \| \frac{1}{\lambda _{i}}F(H_{li}+e_{li}a_{\infty }^{T})KK^{T}(H_{li}+e_{li}a_{\infty }^{T}) ^{T}-F(KK^{T})\right \|_{F}$

因为存在着未知的常数因子，但在处理该常数因子上，Pollefeys和Heyden等采用了不同的途径。Heyden将常数因子看作独立的未知数与其他参数同时优化，而Pollefeys等利用模相等估计出常数因子。

由于减少了待优化的未知数个数，优化函数将更易于收敛。Pollefeys还证明该方法与基于Kruppa方程的方法、Heyden等的方法、Triggs的基于绝对二次曲面的方法等在本质上是相同的。

以上介绍的三种方法有着共同的特点，即都是在射影标定的基础上，以某一幅图像为基准作射影对齐，从而将未知数缩减至8个（无穷远平面参数3个，相机内参5个，不包括总体常数因子），再通过非线性优化算法同时解出所有未知数。缺点在于非线性优化算法的初值只能通过预估得到，不能保证收敛性；射影重建时均是以某参考图像为基础，参考图像的选取不同标定的结果也不同，这不能满足一般情形下噪声均匀分布的假设。

4.Hartley方法

Hartley提出一种直接对相机投影矩阵进行QR分解的自标定方法。Hartley首先进行射影重建，作射影对齐后得到相机投影矩阵序列。自标定的目标是要寻找合适的欧氏变换，将 $T_{E}$ ，将 $P_{i}$ 变换到欧氏意义下的投影矩阵。如下式：