相机成像模型 /相机标定

四个坐标系

世界坐标系：世界坐标系可以任意选择，为假想坐标系，在被指定后随即不变且唯一，即为绝对坐标系。除此之外的其他三个坐标系均为相对坐标系，是随着相机位姿的变化而变化的。因此当一张图像只包含有限信息，需要综合多张图片信息的时候，需要世界坐标系这样一个绝对坐标系将串联起所有图片的位置。通常选定第一张图像中的相机坐标系为世界坐标系。
相机坐标系：以相机光心位置为坐标原点，X 轴和Y 轴分别平行于图像坐标系的X轴和 Y 轴，Z轴为相机的光轴
图像坐标系：原点在成像的中心，X 轴和Y 轴分别平行于相机坐标系的X轴和 Y 轴
像素坐标系：原点在成像的左上角，U 轴和V 轴分别平行于相机坐标系的X轴和 Y 轴

世界坐标系（$X_w,Y_w,Z_w$) $\to$ 相机坐标系（$X_c,Y_c,Z_c$)

通过旋转和平移，将世界坐标系与相机坐标系重合，目的是将物体的点从用世界坐标系来表示转换为用相机坐标系来表示

二维坐标系旋转

点A在X-Y坐标系中的坐标为(a,b)，坐标系旋转$\theta$后，点A坐标为(m,n)
则有
$\left[\begin{array}{c}m\\ n\end{array}\right]=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & cos\theta \end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]$

三维坐标系旋转

坐标系绕X轴旋转$\theta$后，点坐标的转换可以表示为
$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ z^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\theta & sin\theta \\ 0& -sin\theta & cos\theta \end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R_X\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

同理，绕Y轴和Z轴旋转后
$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ z^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccc}cos\theta & 0& sin\theta \\ 0& 1& 0\\ -sin\theta & 0& cos\theta \end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R_Y\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ z^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccc}cos\theta & sin\theta & 0\\ -sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R_Z\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

因此，三维坐标系中的旋转矩阵可以表示为
$R=R_X{R}_Y{R}_Z$
再加上平移矩阵 $T=[t_x,t_y,t_z{]}^T$，可以得到
$$\begin{array}{rl}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]& =R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+T\\ & =\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]\end{array}$$

将其写为齐次坐标形式，可以表示为
$$\begin{array}{rl}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]& =\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ & =\left[\begin{array}{cc}R& t\\ 0_{1\ast 3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\end{array}$$

相机坐标系（$X_c,Y_c,Z_c$) $\to$ 图像坐标系（$X,Y$)

利用小孔成像原理和相似三角形完成转换
$$\begin{gathered} \frac{Z_C}{f}=\frac{X_C}{x}=\frac{Y_C}{y} \\ x=\frac{f}{Z_C}{X}_C,y=\frac{f}{Z_C}{Y}_C \end{gathered}$$
写成矩阵形式：
$$\begin{array}{rl}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]& =\left[\begin{array}{ccc}\frac{f}{Z_C}& 0& 0\\ 0& \frac{f}{Z_C}& 0\\ 0& 0& \frac{1}{Z_C}\end{array}\right]\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\end{array}\right]\\ Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]& =\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]\end{array}$$

图像坐标系（$X,Y$) $\to$ 像素坐标系（$U,V$)

像素坐标系u-v的单位是pixel，图像坐标系x-y的单位是mm，令$dx/dy$为一个pixel在$x/y$轴上的物理尺寸(单位是mm/pixel)，$(u_0,v_0)$为图像坐标系的原点在u-v坐标系下的位置，则这两个坐标系的换算公式为

$$u=\frac{1}{dx}x+u_{0}v=\frac{1}{dy}y+v_0$$
写成矩阵形式：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

综上

$$Z_C\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& f& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0_{1\ast 3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{dx}& 0& u_0& 0\\ 0& \frac{f}{dy}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0_{1\ast 3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
$\left[\begin{array}{cccc}\frac{f}{dx}& 0& u_0& 0\\ 0& \frac{f}{dy}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$被称为内参，其中含有5个未知参数：$f,dx,dy,u0,v0$

$\left[\begin{array}{cc}R& t\\ 0_{1\ast 3}& 1\end{array}\right]$被称为外参，其中含有6个未知参数：${\theta }_x,{\theta }_y,{\theta }_z,t_x,t_y,t_z$

畸变

个人感觉SLAM十四讲里面讲的比较详细了，就不复制粘贴了。

参考文章

相机模型中的世界坐标系究竟指什么
坐标系旋转与点旋转的变换公式
《视觉SLAM十四讲》
第六节、双目视觉之相机标定