（一种简洁的双目校正算法）A Compact Algorithm for Rectification of Stereo Pairs

Abstract

我们提出了一个针对一般的、无约束的双目配置的线性校正算法。该算法利用原始相机的两个透视投影矩阵计算一对校正矩阵，它非常的简洁（仅22行 MATLAB代码）和可复用。我们的测试报告证明了方法的正确可行性，以及直接使用校正的图像计算3D重建精度的基本不损失。
关键字： 校正，双目，极几何

paper: A Compact Algorithm for Rectification of Stereo Pairs
作者：Andrea Fusiello · Emanuele Trucco · Alessandro Verri

Received: 25 February 1999 / Accepted: 2 March 2000

1 Introduction and motivations

给定一对双目图像，校正确定每个图像平面的变换，以使成对的共轭对极线变为共线并平行于一个像轴（通常是水平轴）。可以将校正后的图像视为是通过旋转原始相机获得的新双目设备得到的。校正的重要性在于它使得计算双目匹配¹变得更加容易，因为匹配搜索被约束到了一维空间而不是二维空间。

我们假设双目设备已经标定，也就是，相机的外参（外部参数包括位置和方向）是已知的。这种假设不是严格必要的，但是会带来一种更简单的技术。另一方面，当从稠密的双目中重建3D对象的形状时，在实践中必须进行校准（标定），并且在许多情况下可以通过几种算法来实现^{2 3}。

在双目中校正是一个经典的问题，然而，但是，据我们所知，在计算机视觉文献中几乎没有可用的方法。 Ayache ⁴引入了一种校正算法，其中手工制作了满足多个约束条件的矩阵。这种必要约束与任意约束之间的区别尚不清楚。一些作者认为在限制性假设下进行了校正。 例如，⁵假设几何形状非常严格（平行于相机参考系的垂直轴）。最近^{6 7 8}引入了一种算法，该算法在给定弱校准的双目设备的情况下执行校正，即仅给出图像之间的点对应关系。

在准备本手稿后出版的最新著作包括^{9 10 11}。其中一些工作还集中在最小化校正图像失真的问题上。 我们没有解决这个问题，部分原因是失真不如弱校准情况严重。

本文提出了一个算法，可校正已标定相机，该相机（一般通用相机）不受几何约束。我们的工作提升并扩展了[1]⁴ ，我们获得的结果基本相同，但方式更简洁明了。 该算法既简单又详细。 而且，由于缺乏易于重现，易于访问和明确陈述的算法，所以我们已经在网络上提供了代码。

2 Camera model and epipolar geometry

这一节简单回顾了我们需要的透视投影的数学知识，更多细节见¹²。针孔相机通过其光学中心$\mathrm{C}$和视网膜平面（或像平面）$\mathcal{R}$进行建模。一个3D点$\mathrm{W}$投影到图像平面点$\mathrm{M}\in \mathcal{R}$,它是光心$\mathrm{C}$和$\mathrm{W}$连线与（图）像平面的交点。包含$\mathrm{C}$且与$\mathcal{R}$正交的线称为光轴，与$\mathcal{R}$的交点为主点（principal point）。$\mathrm{C}$与$\mathcal{R}$之间的距离为焦距长度(focal length)。

让$\mathbf{w}=[xyz{]}^T$是世界坐标系中$\mathrm{W}$的坐标，$\mathbf{m}=[\mu \nu {]}^T$是图像平面中$\mathrm{M}$的像素坐标。这种从3D坐标到2D坐标的映射称为透视投影，它可用齐次坐标坐标的线性变换表示。让$\tilde{\mathbf{m}}=[\mu \nu 1{]}^T$和$\tilde{\mathbf{w}}=[xyz{]}^T$分别是$\mathrm{M},\mathrm{W}$的齐次坐标，然后透视变换由矩阵$\tilde{\mathbf{P}}$给出:
$$\lambda \tilde{\mathbf{m}}=\tilde{\mathbf{P}}\tilde{\mathbf{w}}\text{\hspace{1em}(1)}$$
其中$\lambda$是一个任意的尺度因子。因此相机可通过透视投影矩阵(perspective projection matrix简称PPM)$\tilde{\mathbf{P}}$表示，$\tilde{\mathbf{P}}$可用QR分解成
$$\tilde{\mathbf{P}}=\mathbf{A}[\mathbf{R}|\mathbf{t}]\text{\hspace{1em}(2)}$$
$A$仅仅依赖内部参数（即相机内参矩阵）由下面的形式
$$\mathbf{A}=\left[\begin{array}{ccc}{\alpha }_{\mu }& \gamma & {\mu }_0\\ 0& {\alpha }_{\nu }& {\nu }_0\\ 0& 0& 1\end{array}\right]$$
其中${\alpha }_{\mu }=-f{k}_{\mu },{\alpha }_v=-f{k}_{\nu }$分别是水平和垂直方向上的像素焦距长度（f 是焦距长度，单位为毫米，$k_{\mu },k_{\nu }$是沿$\mu ,\nu$轴每毫米有效的像素数，即单位为pixel/mm)。$({\mu }_0,{\nu }_0)$是主点像素坐标，它是光轴与像平面的交点，$\gamma$是$\mu -\nu$非正交的因子。

相机的位置$\mathbf{t}$和方向$\mathbf{R}$表示将摄像机参考系带到世界参考系的刚性变换。让我们将PPM重新写作：
$$\tilde{\mathbf{P}}=\left[\begin{array}{cc}{\mathbf{q}}_1^T& q_{14}\\ {\mathbf{q}}_2^T& q_{24}\\ {\mathbf{q}}_3^T& q_{34}\end{array}\right]=[\mathbf{Q}|\mathbf{q}]$$
在卡氏坐标系中，投影(1)可写为
$$\{\begin{array}{l}\mu =\frac{{\mathbf{q}}_1^T\mathbf{w}+q_{14}}{{\mathbf{q}}_3^T\mathbf{w}+q_{34}}\\ \\ \nu =\frac{{\mathbf{q}}_2^T\mathbf{w}+q_{24}}{{\mathbf{q}}_3^T\mathbf{w}+q_{34}}\end{array}\text{\hspace{1em}(5)}$$
平行于像平面与过光心$\mathrm{C}$的平面叫做焦平面，$\mathrm{C}$的$\mathbf{c}$坐标在世界坐标系$\mathrm{W}$可表示为
$$\mathbf{c}=-{\mathbf{Q}}^{-1}\mathbf{q}\text{\hspace{1em}(6)}$$
（备注：设相机坐标系的圆点在世界坐标系中的表示为c, 由透视投影可得$(0,0,0{)}^T=[\mathbf{Q}|\mathbf{q}]\tilde{\mathbf{c}}$ ,从而推出等式(6)）
因此$\tilde{\mathbf{P}}$可重写为：
$$\tilde{\mathbf{P}}=[\mathbf{Q}|-\mathbf{Q}\mathbf{c}]=\mathbf{A}[\mathbf{R}|-\mathbf{R}\mathbf{c}]\text{\hspace{1em}(7)}$$
与像点M相关的光线是线M C，即3-D点的集合 { w : m ~ = P ~ w ~ } \{\mathbf{w: \tilde m = \tilde P \tilde w} \} {w:m~=P~w~}，参数化形式为：
$$\mathbf{w}=\mathbf{c}+\lambda {\mathbf{Q}}^{-1}\tilde{\mathbf{m}},\lambda \in R\text{\hspace{1em}(8)}$$
让我们考虑有两个针孔相机组成的双目设备（如图1）。让${\mathrm{C}}_1,{\mathrm{C}}_2$分别是左目和右目相机的光心。将3D点$\mathrm{W}$投影到两个图像平面上，构成共轭点对对的点${\mathrm{M}}_1$和${\mathrm{M}}_2$。给定左图像平面中的点${\mathrm{M}}_1$，将其在右图像中的共轭点约束到${\mathrm{M}}_1$对极线线上。因为${\mathrm{M}}_1$可能是它所在光线上的任何一点的投影。对极线是${\mathrm{M}}_1$的光线经过${\mathrm{C}}_2$的投影线。一个像平面中的所有对极线都通过称为“极点”的公共点（分别为${\mathrm{E}}_1$和${\mathrm{E}}_2$），这是另一台相机的光学中心的投影（例如${\mathrm{C}}_1$投影点是${\mathrm{E}}_2$, ${\mathrm{C}}_2$投影点是${\mathrm{E}}_1$）。

当${\mathrm{C}}_1$是右相机的焦平面上，右极点在无穷远，在右图像中极线形成一束平行线。一种简单的情况是，俩个极点都在无穷远处，线${\mathrm{C}}_1{\mathrm{C}}_2$（基线）在两个焦平面上，也就是像平面平行于基线时就会出现该情况，接着，极线在两个图像中形成一束平行线。可以变换任何一对图像，以使对极线在每个图像中平行且水平。 此过程称为校正。

3 Rectification of camera matrices

我们假设立体设备已经标定，透视投影矩阵${\tilde{\mathbf{P}}}_{o1}$和${\tilde{\mathbf{P}}}_{o2}$已知。校正的思想是定义两个新的投影矩阵${\tilde{\mathbf{P}}}_{n1}$和${\tilde{\mathbf{P}}}_{n2}$，${\tilde{\mathbf{P}}}_{n1}$和${\tilde{\mathbf{P}}}_{n2}$是通过绕着它们各自的光轴旋转，直到焦平面共面，从而包含基线。这就保证了极点在无穷远，因此极线是平行的。要具有水平极线，基线必须平行于两个相机的新的X轴，另外为了有一个正确的校正，共轭点必须有相同的垂直坐标（即校正后匹配点的新y轴坐标相等），这是通过要求新相机具有相同的内部参数来实现的。注意，校正后焦距相同，像平面也共面，如图2所示

总结：新透视矩阵的位置（即光心）与校正之前的相机的光心相同，然后新的方向与校正之前不同，它是由校正前的相机经过合适的旋转得到的。两个相机的内参矩阵是相同的。因此，两个新的透视投影矩阵仅在其光学中心不同，可以将它们视为沿其参考系统的X轴平移的单个相机。

让我们根据它们的因式分解来重写新的透视投影矩阵，由（2）（7）由：
$${\tilde{\mathbf{P}}}_{n1}=\mathbf{A}[\mathbf{R}|-{\mathbf{R}\mathbf{c}}_1]，{\tilde{\mathbf{P}}}_{n2}=\mathbf{A}[\mathbf{R}|-{\mathbf{R}\mathbf{c}}_2]\text{\hspace{1em}(9)}$$
式（9）两个透视投影矩阵中的$\mathbf{A}$是相同的，以及可以被任意选择（see MATLAB code），光学中心${\mathbf{c}}_1$和${\mathbf{c}}_2$由旧的光学中心给出,可通过式（6）计算。矩阵$\mathbf{R}$是相机的姿态（pose），在式（9）中是相同的，通过其行向量可表示为
$$\mathbf{R}=\left[\begin{array}{c}{\mathbf{r}}_1^T\\ {\mathbf{r}}_2^T\\ {\mathbf{r}}_3^T\end{array}\right]\text{\hspace{1em}(10)}$$
${\mathbf{r}}_1^T,{\mathbf{r}}_2^T,{\mathbf{r}}_3^T$分别为相机参考系的X,Y,Z轴在世界坐标系中的表示。
根据之前的讨论，我们有

1. 新的X轴平行于基线：${\mathbf{r}}_1=({\mathbf{c}}_1-{\mathbf{c}}_2)/\Vert {\mathbf{c}}_1-{\mathbf{c}}_2\Vert$
2. 新的Y轴正交于X轴和$\mathbf{k}$：${\mathbf{r}}_2=\mathbf{k}\times {\mathbf{r}}_1$
3. 新的Z轴正交于XY平面：${\mathbf{r}}_3={\mathbf{r}}_1\times {\mathbf{r}}_2$

在点2，$\mathbf{k}$是一个任意单位向量，它将新Y轴的位置固定在与X正交的平面中,我们将其等于旧左矩阵（校正前矩阵）的Z轴单位向量（即${\mathbf{R}}_{o1}$的第三行的向量，它是左相机Z轴在世界坐标系下的表示），因此将新的Y轴约束到正交于X轴和校正前的左相机的Z轴。

当光轴平行于基线时，即纯向前运动时，该算法将失败。在¹³中，我们通过分析形式化了校正要求，并且证明了本节中给出的算法可以满足这些要求。

The rectifying transformation

那就是说，为了校正左图像，我们需要计算${\tilde{\mathbf{P}}}_{o1}=[{\mathbf{Q}}_{o1}|{\mathbf{q}}_{o1}]$到${\tilde{\mathbf{P}}}_{n1}=[{\mathbf{Q}}_{n1}|{\mathbf{q}}_{n1}]$映射变换。我们将看到，寻求的变换是由3×3矩阵${\mathbf{T}}_1={\mathbf{Q}}_{n1}{\mathbf{Q}}_{o1}^{-1}$给出的共线性变换。对于右图像有${\mathbf{T}}_2={\mathbf{Q}}_{n2}{\mathbf{Q}}_{o2}^{-1}$

对于任意一个3D点$\mathbf{w}$我们有
$$\{\begin{array}{l}{\tilde{\mathbf{m}}}_{o1}={\tilde{\mathbf{P}}}_{o1}\tilde{\mathbf{w}}\\ {\tilde{\mathbf{m}}}_{n1}={\tilde{\mathbf{P}}}_{n1}\tilde{\mathbf{w}}\end{array}\text{\hspace{1em}(11)}$$
根据（8）光线的方程式如下（因为校正不会移动光学中心）
$$\{\begin{array}{l}\mathbf{w}={\mathbf{c}}_1+{\lambda }_o{\mathbf{Q}}_{o1}^{-1}{\tilde{\mathbf{m}}}_{o1}\\ \mathbf{w}={\mathbf{c}}_1+{\lambda }_n{\mathbf{Q}}_{n1}^{-1}{\tilde{\mathbf{m}}}_{n2}\end{array}$$
因此
$$\{\begin{array}{l}{\tilde{\mathbf{m}}}_{n1}=\lambda {\mathbf{Q}}_{n1}{\mathbf{Q}}_{o1}^{-1}{\tilde{\mathbf{m}}}_{o1}\\ {\tilde{\mathbf{m}}}_{n2}=\lambda {\mathbf{Q}}_{n2}{\mathbf{Q}}_{o2}^{-1}{\tilde{\mathbf{m}}}_{o2}\end{array}$$
其中$\lambda$是任意的尺度因子（等价于在齐次下相等）。

正如图5所示，应用变换${\mathbf{T}}_1$到校正前的左图像得到校正图像。注意，校正后的图像的像素（整数坐标位置）通常对应于原始图像平面上的非整数位置。 因此，通过双线性插值计算校正图像的灰度值。

通过三角化[7]重建3D点可以直接使用校正图中的${\mathrm{P}}_{n1}$，${\mathrm{P}}_{n2}$。

Summary of the rectiication algorithm

考虑到双目技术在研究和应用中的高度普及，我们努力使算法尽可能易于再现和使用。为了该目的我们给出了MATLAB代码，代码简单和简洁（仅仅22行），并且附带的注释使之无需MATLAB即可理解。rectify函数的用法（请参见MATLAB代码）如下：

– 给定一对图像${\mathrm{I}}_1$,${\mathrm{I}}_2$,以及透视投影矩阵Po1,Po2
– 计算[T1,T2,Pn1,Pn2] = rectify(Po1,Po2)
– 应用T1,T2校正图像

function [T1,T2,Pn1,Pn2] = rectify(Po1,Po2)
% RECTIFY: compute rectification matrices
% factorize old PPMs
[A1,R1,t1] = art(Po1);
[A2,R2,t2] = art(Po2);
% optical centers (unchanged)
c1 = - inv(Po1(:,1:3))*Po1(:,4);
c2 = - inv(Po2(:,1:3))*Po2(:,4);
% new x axis (= direction of the baseline)
v1 = (c1-c2);
% new y axes (orthogonal to new x and old z)
v2 = cross(R1(3,:)’,v1);
% new z axes (orthogonal to baseline and y)
v3 = cross(v1,v2);
% new extrinsic parameters
R = [v1’/norm(v1)
v2’/norm(v2)
v3’/norm(v3)];
% translation is left unchanged
% new intrinsic parameters (arbitrary)
A = (A1 + A2)./2;
A(1,2)=0; % no skew
% new projection matrices
Pn1 = A * [R -R*c1 ];
Pn2 = A * [R -R*c2 ];
% rectifying image transformation
T1 = Pn1(1:3,1:3)* inv(Po1(1:3,1:3));
T2 = Pn2(1:3,1:3)* inv(Po2(1:3,1:3));

% ------------------------
function [A,R,t] = art(P)
% ART: factorize a PPM as P=A*[R;t]

Q = inv(P(1:3, 1:3));
[U,B] = qr(Q);

R = inv(U);
t = B*P(1:3,4);
A = inv(B);
A = A ./A(3,3);

Reference

---

1. U. R. Dhond and J. K. Aggarwal. Structure from stereo – a review. IEEE Transactions on Systems, Man and Cybernetics, 19(6):1489–1510, 1989. ↩︎

2. B. Caprile and V. Torre. Using vanishing points for camera calibration. International Journal of Computer Vision, 4:127–140, 1990. ↩︎

3. L Robert. Camera calibration without feature extraction. Computer Vision, Graphics, and Image Processing, 63(2):314–325, 1996. ↩︎

4. N. Ayache and F. Lustman. Trinocular stereo vision for robotics. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13:73–85, 1991. ↩︎ ↩︎

5. D. V. Papadimitriou and T. J. Dennis. Epipolar line estimation and rectification for stereo images pairs. IEEE Transactions on Image Processing, 3(4):672–676, 1996. ↩︎

6. R. Hartley and R. Gupta. Computing matched-epipolar projections. In CVPR93, pages 549–555, 1993. ↩︎

7. L. Robert, C. Zeller, O. Faugeras, and M. Hébert. Applications of non-metric vision to some visually-guided robotics tasks. In Y. Aloimonos, editor, Visual Navigation: From Biological Systems to Unmanned Ground Vehicles, pages 89–134. 1997. ↩︎

8. R.I. Hartley. Theory and practice of projective rectification. International Journal of Computer Vision, 35(2):1–16, 1999. ↩︎

9. C. Loop and Z. Zhang. Computing rectifying homographies for stereo vision. In CVPR99, pages I:125–131, 1999. ↩︎

10. F. Isgro and E. Trucco. Projective rectification without epipolar geometry. In CVPR99, pages I:94–99, 1999. ↩︎

11. M. Pollefeys, R. Koch, and L. VanGool. A simple and efficient rectification method for general motion. In ICCV99, pages 496–501, 1999. ↩︎

12. O. Faugeras. Three-Dimensional Computer Vision: A Geometric Viewpoint. The MIT Press, Cambridge, MA, 1993. ↩︎

13. A. Fusiello, E. Trucco, and A. Verri. Rectification with unconstrained stereo geometry. Research Memorandum RM/98/12, CEE Dept., Heriot-Watt University, Edinburgh, UK, 1998. ftp://ftp.sci.univr.it/pub/Papers/Fusiello/RM-98-12.ps.gz. ↩︎