人工智能 — 相机模型和镜头畸变

一、相机模型

1、相机与图像

2、坐标系

针孔相机模型存在四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系。

1、世界坐标系

是客观三维世界的绝对坐标系，也称客观坐标系。就是物体在真实世界中的坐标。世界坐标系是随着物体的大小和位置变化的，单位是长度单位。

2、相机坐标系

以相机的光心为坐标系的原点，以平行于图像的 x 和 y 方向为 x 轴和 y 轴，z 轴和光轴平行，x，y，z 互相垂直，单位是长度单位。

3、图像物理坐标系

以主光轴和图像平面交点为坐标原点，x’ 和 y’ 方向如图所示，单位是长度单位。

4、图像像素坐标系

以图像的顶点为坐标原点，u 和 v 方向平行于 x’ 和 y’ 方向，单位是以像素计。

假设：世界坐标系的坐标为 Pw(Xw,Yw,Zw)

对应的摄像机坐标系坐标为 Po(x,y,z)

对应的图像物理坐标系的坐标为 P’(x’,y’)

对应的图像像素坐标系的坐标为 p(u,v)

3、相机成像

4、世界坐标系到摄像机坐标系

这两个坐标系之间除了旋转矩阵 R，还存在平移矩阵 t。其关系可表示为：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$$

$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=L_w\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

5、欧氏变换

两部分组成：旋转和平移。
$$a^{\prime }=Ra+t$$

6、齐次坐标

多次连续的旋转和平移的情况下，假设我们将向量 a 进行了两次欧氏变换，旋转和平移分别为 R1, t1 和 R2，t2。

分别得到：
$$b=R_1\ast a+t_1,c=R2\ast b+t2\Rightarrow c=R2\ast (R1\ast a+t1)+t2$$

$$\left[\begin{array}{c}{a}^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}a\\ 1\end{array}\right]=T\left[\begin{array}{c}a\\ 1\end{array}\right]$$

$$\tilde{b}=T_1\tilde{a},\tilde{c}=T_2\tilde{b}\Rightarrow \tilde{c}=T_2{T}_1\tilde{a}$$

7、摄像机坐标系到图像物理坐标系

相似三角形：
$$\{\begin{array}{l}{X}^{\prime }=f\frac{X_c}{Z_c}\\ Y^{\prime }=f\frac{Y_c}{Z_c}\end{array}$$
矩阵形式为：
Z c ∗ [ x y 1 ] = [ f 0 0 0 f 0 0 0 1 ] ∗ [ X c Y c Z c ] Z_c* \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}= \begin{bmatrix} f&0&0\\ 0&f&0\\ 0&0&1 \end{bmatrix}* \begin{bmatrix} X_c \\ Y_c \\ Z_c \end{bmatrix} Zc​∗ ​xy1​ ​= ​f00​0f0​001​ ​∗ ​Xc​Yc​Zc​​