相机的坐标转换(2):单应性矩阵的求解

最新推荐文章于 2024-10-01 18:46:58 发布

甘果瓦

最新推荐文章于 2024-10-01 18:46:58 发布

阅读量5.5k

点赞数

分类专栏：图像处理 OpenCV 文章标签： OpenCV 图像处理-相机标定

本文链接：https://blog.csdn.net/ganguowa/article/details/60765691

版权

图像处理同时被 2 个专栏收录

8 篇文章 2 订阅

订阅专栏

OpenCV

4 篇文章 0 订阅

订阅专栏

在这篇文章里我们继续上一话题，对得到的转换矩阵进行求解。

1.前文

在上篇文章里，我们最终得到如下公式：

s ⎛ ⎝ ⎜ u v 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ α 00 - α c o t θ β 0 u 0 v 0 1 ⎞ ⎠ ⎟ (R 0 T T 1) ⎛ ⎝ ⎜ ⎜ ⎜ x w y w z w 1 ⎞ ⎠ ⎟ ⎟ ⎟

$s\left( \begin{array}{rrr} u \\ v \\ 1 \end{array} \right)= \left( \begin{array}{ccc} \alpha & -\alpha cot\theta & u_0 \\ 0 & \beta & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{cc} R & T \\ 0^T & 1 \end{array} \right) \left( \begin{array}{c} x_w \\ y_w \\ z_w \\ 1 \end{array} \right)$ (1)
上述式子只是为了行文方便，如果要求解，我们得写成下面的样子：

s ⎛ ⎝ ⎜ u v 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ α 00 - α c o t θ β 0 u 0 v 0 1 ⎞ ⎠ ⎟ (r 1 r 2 r 3 t) ⎛ ⎝ ⎜ ⎜ ⎜ x w y w z w 1 ⎞ ⎠ ⎟ ⎟ ⎟

$s\left( \begin{array}{rrr} u \\ v \\ 1 \end{array} \right)= \left( \begin{array}{ccc} \alpha & -\alpha cot\theta & u_0 \\ 0 & \beta & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} r_1&r_2 &&r_3&t \end{array} \right) \left( \begin{array}{c} x_w \\ y_w \\ z_w \\ 1 \end{array} \right)$ (2)

2. $(u,v)与(x_w,y_w,z_w)$ 的求解

在张正友标定法当中，我们一般用棋盘格作为标定模板，通过图像处理上的方法我们可以得到棋盘格上的角点坐标，这样我们就得到了 $(u,v)$ .

那么，我们如何得到对应的空间点坐标呢。
我们假设标定模板位于 $z_w = 0$ 上，结合棋盘格的边长我们就可以得到相应的角点的空间位置。譬如，假设每一个小格子的大小为300*300,那么，红点1的坐标为(0,0,0),则红点2的坐标为(0,300,0),依次类推，这样我们就得到对应点的空间坐标。
这里写图片描述

3.单应性矩阵的求解

当 $z_w = 0$ 时，公式(2)可变为：

s ⎛ ⎝ ⎜ u v 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ α 00 - α c o t θ β 0 u 0 v 0 1 ⎞ ⎠ ⎟ (r 1 r 2 t) ⎛ ⎝ ⎜ x w y w 1 ⎞ ⎠ ⎟

$s\left( \begin{array}{rrr} u \\ v \\ 1 \end{array} \right)= \left( \begin{array}{ccc} \alpha & -\alpha cot\theta & u_0 \\ 0 & \beta & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} r_1&r_2 &t \end{array} \right) \left( \begin{array}{c} x_w \\ y_w \\ 1 \end{array} \right)$ (3)
用单应性矩阵的形式可表示成：

s ⎛ ⎝ ⎜ u v 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ h 11 h 21 h 31 h 12 h 22 h 32 h 13 h 23 h 33 ⎞ ⎠ ⎟ ⎛ ⎝ ⎜ x w y w 1 ⎞ ⎠ ⎟

$s\left( \begin{array}{rrr} u \\ v \\ 1 \end{array} \right)= \left( \begin{array}{ccc} h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} &h_{32} & h_{33} \end{array} \right) \left( \begin{array}{c} x_w \\ y_w \\ 1 \end{array} \right)$ (4)
作为一个单应性矩阵，

H $H$ 并没有看上去的那样风光，哦，我是说，尽管看起来

H $H$ 是一个3×3的矩阵，其实单应性矩阵的自由度只有8个。好了，划重点的时间又到了， 图像平面间的单应矩阵（Homography Matrix）H，具有8个自由度。在这篇文章里，我们只具体研究图像平面间的单应性矩阵。一般而言，为了归一化，我们可以设

h33=1 $h_33=1$ ，于是，公式4就变成了如下所示：

s ⎛ ⎝ ⎜ u v 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ h 11 h 21 h 31 h 12 h 22 h 32 h 13 h 23 1 ⎞ ⎠ ⎟ ⎛ ⎝ ⎜ x w y w 1 ⎞ ⎠ ⎟

$s\left( \begin{array}{rrr} u \\ v \\ 1 \end{array} \right)= \left( \begin{array}{ccc} h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} &h_{32} & 1 \end{array} \right) \left( \begin{array}{c} x_w \\ y_w \\ 1 \end{array} \right)$ (4)

显然可得，

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ u = s u s = h 11 x w + h 12 y w + h 13 h 31 x w + h 32 y w + h 33 v = s v s = h 21 x w + h 22 y w + h 23 h 31 x w + h 32 y w + h 33

$\begin{equation} \left\{\begin{aligned} u=\frac{su}{s}=\frac{h_{11}x_w + h_{12}y_w + h_{13}}{h_{31}x_w + h_{32}y_w + h_{33}}\\ v=\frac{sv}{s}=\frac{h_{21}x_w + h_{22}y_w + h_{23}}{h_{31}x_w + h_{32}y_w + h_{33}}\\ \end{aligned} \right. \end{equation}$ (5)
简单地变个形，我们就可以得到：

{0 = h 31 x w u + h 32 y w u + h 33 u - (h 11 x w + h 12 y w + h 13) 0 = h 31 x w v + h 32 y w v + h 33 v - (h 21 x w + h 22 y w + h 23)

$\begin{equation} \left\{ \begin{aligned} 0=h31x_wu+h_{32}y_wu+h_{33}u-(h_{11}x_w+h_{12}y_w+h_{13})\\ 0=h31x_wv+h_{32}y_wv+h_{33}v-( h_{21}x_w + h_{22}y_w + h_{23})\\ \end{aligned} \right. \end{equation}$ (6)
但是作为一个大学生，如果只会列公式，那么我们和咸鱼，，，嗯，我是说我们和小学生有什么区别。我们要列，矩，阵。唯有如此，才能体现出我们曾上过矩阵这门课，或者说，被它上过。

[- x w 0 - y w 0 - 1 0 0 - x w 0 - y w 0 - 1 x w u x w v y w u y w v u v] h = 0

$\begin{equation} \begin{bmatrix} -x_w & -y_w &-1&0&0&0&x_wu&y_wu&u \\ 0&0&0& -x_w & -y_w &-1&x_wv&y_wv&v \end{bmatrix} h=0 \end{equation}$ (7)
其中，

h = [h 11, h 12, h 13, h 21, h 22, h 23, h 31, h 32] T

$\begin{equation} h= \begin{bmatrix} h_{11} , h_{12} , h_{13} , h_{21} , h_{22} , h_{23} ,h_{31} , h_{32} \end{bmatrix} ^T\end{equation}$ (8)

我们共有8个未知参数，需要四个像公式(7)这样的式子才能求解，棋盘格里的一个小格子刚好能提供四个角点，看来选棋盘格是有原因的。
我们用下角标来区别四个角点的坐标，那么我们可以用下面的式子来唯一求解：

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ - x w 1 0 - x w 2 0 - x w 3 0 - x w 4 0 - y w 1 0 - y w 2 0 - y w 3 0 - y w 4 0 - 1 0 - 1 0 - 1 0 - 1 0 0 - x w 1 0 - x w 2 0 - x w 3 0 - x w 4 0 - y w 1 0 - y w 2 0 - y w 3 0 - y w 4 0 - 1 0 - 1 0 - 1 0 - 1 x w 1 u x w 1 v x w 2 u x w 2 v x w 3 u x w 3 v x w 4 u x w 4 v y w 1 u y w 1 v y w 2 u y w 2 v y w 3 u y w 3 v y w 4 u y w 4 v u v u v u v u v ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = 0

$\begin{equation} \begin{bmatrix} -x_{w1} & -y_{w1} &-1&0&0&0&x_{w1}u&y_{w1}u&u \\ 0&0&0& -x_{w1} & -y_{w1} &-1&x_{w1}v&y_{w1}v&v \\ -x_{w2} & -y_{w2} &-1&0&0&0&x_{w2}u&y_{w2}u&u \\ 0&0&0& -x_{w2} & -y_{w2} &-1&x_{w2}v&y_{w2}v&v \\ -x_{w3} & -y_{w3} &-1&0&0&0&x_{w3}u&y_{w3}u&u \\ 0&0&0& -x_{w3} & -y_{w3} &-1&x_{w3}v&y_{w3}v&v \\ -x_{w4} & -y_{w4} &-1&0&0&0&x_{w4}u&y_{w4}u&u \\ 0&0&0& -x_{w4} & -y_{w4} &-1&x_{w4}v&y_{w4}v&v \end{bmatrix} \begin{bmatrix} h_{11} \\ h_{12} \\ h_{13} \\ h_{21} \\ h_{22} \\ h_{23} \\h_{31} \\ h_{32} \end{bmatrix} =0 \end{equation}$ (9)。
对应

Ah=0 $Ah=0$ 这样的矩阵求解，我们目前的技术手段已经非常成熟了，譬如，熟读矩阵论的我们一定知道：我们可以采用

SVD分解 $SVD分解$ 的方法来求。当然，要想结果准确，排除噪声、检测误差等因素带来的影响，还是要采取一些手段的，譬如采用最大似然的思想，采用随机抽样一致的方法等。

4下文

尽管已经可以求出单应性矩阵了，但我们的任务还没有结束。单应性矩阵里既包含相机内参也包括相机外参。相机标定的目的在于求出内参。毕竟不同张的图片都对应着不同的外参，而相机不变，则内参不变。所以，内参才是我们要追求的唯一。
关于如何求出相机内参，我们下篇再讲。
ps:单应性矩阵不仅应用在相机标定的过程中，同时也用在图像拼接的过程中。更多关于单应性矩阵求解的内容，请戳这里。