相机模型及公式推导

Creator_Wei

已于 2023-07-03 12:35:54 修改

阅读量2.8k

点赞数 2

分类专栏：相机标定文章标签：计算机视觉图像识别 slam

于 2021-03-05 14:49:46 首次发布

本文链接：https://blog.csdn.net/weixin_41610241/article/details/114278545

版权

相机标定专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、相机中的坐标：

相机坐标中有4个坐标系（右手系），为world、camera、image、pixel

世界坐标系（World）：真是存在或者不存在的点，可以任意指定；
相机坐标系（Camera）：原点为相机针孔，z与光轴重合， $x_c$ 和 $y_x$ 平行投影面；
图像坐标系（Image）：原点为光轴和投影面的焦点， $x_c$ 和 $y_x$ 平行投影面；
像素坐标系（Pixel）：投影面坐上角为 $o_{pixel}$ ,u,v和投影两个边重合；

二、内参公式推导：

设置图像中点P坐标为： $[X,Y,Z]^{T}$

在物理成像平面坐标为： $[{X}',{Y}',{Z}' ]^{T}$

因为小孔成像为相似三角形，所以可以得到：

$\frac{Z}{f}=-\frac{X}{{X}'}=-\frac{Y}{{Y}'}$ ；

将成像平面转移到以小孔划分的物一侧：

$\frac{Z}{f}=\frac{X}{{X}'}=\frac{Y}{{Y}'}$

进一步可得：

${X}'=f\frac{X}{Z}$ ， ${Y}'=f\frac{Y}{Z}$

设图像的像素坐标P'为： $[u,v]^{T}$

若坐标在u上缩放了 $\alpha$ 倍，在v上缩放了 $\beta$ 倍，同时平移了 $[C_x,C_y]^{T}$

那么在图像上P‘表示为：

$\begin{cases} & \text{ } u= \alpha {X}'+C_{x}\\ & \text{ } v= \beta {Y}'+C_{y} \end{cases}$

将 ${X}'=f\frac{X}{Z}$ ， ${Y}'=f\frac{Y}{Z}$ 代入到：

$\begin{cases} & \text{ } u= \alpha {X}'+C_{x}\\ & \text{ } v= \beta {Y}'+C_{y} \end{cases}$

并定义： $\begin{cases} & f_x=f\alpha \\ & f_y=f\beta \end{cases}$

得：

$\begin{cases} & \text{ } u=f_x\frac{X}{Z}+C_x \\ & \text{ } v=f_y\frac{Y}{Z}+C_y \end{cases}$

那么可以得出：

$\begin{pmatrix} u \\ v \\ 1 \end{pmatrix}=\frac{1}{Z}\begin{pmatrix} f_x & 0 & c_x\\ 0 & f_y & c_y\\ 0 & 0 & 1 \end{pmatrix}\begin{pmatrix} X\\ Y\\ Z \end{pmatrix}\doteq \frac{1}{Z}KP$

若相机的世界坐标为 $P_w$ ，那么：

$ZP_{uv}=Z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} f_x & 0 &c_x \\ 0&f_y &c_y \\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} X\\Y \\Z \end{bmatrix}=KP=K(RP_w+t)=K\begin{bmatrix} R & t\\ 0&1 \end{bmatrix}P_w =KTP_w$

三、坐标系的转换：

1.世界坐标系到相机坐标系

世界坐标系中有一点： $P_w={(x_w,y_w,z_w)}^T$

相机坐标系中有一点： $P_c={(x_c,y_c,z_c)}^T$

可得：

$P_c=\begin{bmatrix} R&T \\ 0&1 \end{bmatrix}P_w$

其中：

$R=\begin{bmatrix} r_{11} &r_{12} &r_{13} \\ r_{21}&r_{22} &r_{23} \\ r_{31} & r_{32} & r_{33} \end{bmatrix}$

$T=\begin{bmatrix} t_x &t_y& t_z \end{bmatrix}^T$

2.相机坐标系到图像坐标系

相机坐标系中有一点： $P_c={(x_c,y_c,z_c,1)}^T$

图像坐标系中有一点： $m={(x_p,y_p,1)}^T$

根据小孔成像原理：

${x_p}=f\frac{x_c}{z_c}$ ， ${y_p}=f\frac{y_c}{z_c}$

所以：

$\begin{cases} & x_pz_c=fx_c \\ & y_pz_c=fy_c \end{cases}$

补全成其次方程可得：

$z_c\begin{bmatrix} x_p\\y_p \\1 \end{bmatrix}=\begin{bmatrix} fx_c& 0 & 0 & 0\\ 0&fy_c &0 &0 \\ 0&0 & z_c &0 \end{bmatrix}$

可得：

$z_c\begin{bmatrix} x_p\\y_p \\1 \end{bmatrix}=\begin{bmatrix} f& 0 & 0 & 0\\ 0&f &0 &0 \\ 0&0 &1 &0 \end{bmatrix}\begin{bmatrix} x_c\\y_c \\ z_c\\ 1 \end{bmatrix}$

即：

$z_cm=\begin{bmatrix} f& 0 & 0 & 0\\ 0&f &0 &0 \\ 0&0 &1 &0 \end{bmatrix}P_c$

实际中主点可能不再图像坐标原点，若点在坐标系中的坐标为 $p={(x_0,y_0,1)}^T$

那么：

$z_cm=\begin{bmatrix} f_x\\y_0 \\1 \end{bmatrix}=\begin{bmatrix} f& 0 & x_0 & 0\\ 0&f &y_0 &0 \\ 0&0 &1 &0 \end{bmatrix}P_c$

3.图像坐标系到像素坐标系

设像素坐标为： $pixl={(u,v,1)}^T$

设图像坐标为： $m={(x_p,y_p,1)}^T$

一个像素的长和宽为： $d_x,d_y$

那么：

$\begin{cases} & u=\frac{x_p}{d_x} \\ & v=\frac{y_p}{d_y} \end{cases}$

改写为矩阵：

$\begin{bmatrix} u\\v \\1 \end{bmatrix}=\begin{bmatrix} \frac{1}{d_x} & 0 & 0\\ 0 & \frac{1}{d_y} & \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} x_p\\y_p \\ 1 \end{bmatrix}$

即：

$picl=\begin{bmatrix} \frac{1}{d_x} & 0 & 0\\ 0 & \frac{1}{d_y} & \\ 0 & 0 & 1 \end{bmatrix}m$

因为：

$\begin{cases} & u=\frac{x_p}{d_x} \\ & v=\frac{y_p}{d_y} \end{cases}$

所以结合相机到图像的变换，那么相机到像素的变换矩阵为：

$k=\begin{bmatrix} \frac{1}{d_x}&0 &0 \\ 0& \frac{1}{d_y}& 0\\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} f&0&x_0\\ 0&f&y_0\\ 0&0&1 \end{bmatrix}=\begin{bmatrix} f_x &0 &u_0 \\ 0 & f_y & v_0\\ 0& 0 &1 \end{bmatrix}$

4.世界坐标系到像素坐标系

根据以上可得:

$z_c\begin{bmatrix} u\\v \\ 1 \end{bmatrix}=\begin{bmatrix} f_x &0 &u_0 \\ 0 & f_y & v_0\\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} R&T \\ 0&1 \end{bmatrix}\begin{bmatrix} x_w\\y_w \\z_w \\1 \end{bmatrix}$

即：

$z_c\begin{bmatrix} u\\v \\ 1 \end{bmatrix}=K\begin{bmatrix} R&T \\ 0&1 \end{bmatrix}\begin{bmatrix} x_w\\y_w \\z_w \\1 \end{bmatrix}$

四、相机畸变：

1.径向畸变（透镜自身形状对光线的影响）

桶形畸变
枕形畸变

可以通过三个畸变参数 $k_1,k_2,k_3$ 来纠正，其中畸变较小的图像中心区域可以用 $k_1$ 来纠正，越向边缘走依次用 $k_2,k_3$ :

$\begin{cases} & x_{distorted}= x(1+k_1r^2+k_2r^4+k_3r^6) \\ & y_{distorted}= y(1+k_1r^2+k_2r^4+k_3r^6) \end{cases}$

2.切向畸变（机械组装偏差）

使用 $p_1,p_2$ 来纠正

$\begin{cases} & x_{distorted}=x+2p_1xy+p_2(r^2+2x^2)\\ & y_{distorted}=y+p_1(r^2+2y^2)+2p_2xy \end{cases}$

3.通过5个参数来纠正畸变

设归一化坐标为 ${\begin{bmatrix} x & y \end{bmatrix}}^T$

$\begin{cases} & x_{distorted}=x(1+k_1r^2+k_2r^4+k_3r^6)+2p_1xy+p_2(r^2+2x^2)\\ & y_{distorted}=y(1+k_1r^2+k_2r^4+k_3r^6)+p_1(r^2+2y^2)+2p_2xy \end{cases}$