相机成像投影过程

相机投影

1. 统一坐标系定义

图1 相机投影坐标系

$(x_w-y_w-z_w)$表示世界坐标系WCS: World Coordinate System
$(x_o-y_o-z_o)$表示对象固有坐标系OCS: Object Intrinsic Coordinate System
$(x_c-y_c-z_c)$表示相机坐标系CCS: Camera Coordinate System
$(x_i-y_i-z_i)$表示图像坐标系ICS: Image Coordinate System
$(\text{u-v})$表示像素坐标系PCS: Pixel Coordinate System

定义一个相机对象固有坐标系，便于计算相机与世界坐标系之间的变换，即相机外参。

2. 统一点的形式

$$p_w=\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right],p_c=\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right],p_i=\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right],p_p=\left[\begin{array}{c}\text{u}\\ \text{v}\\ 1\end{array}\right](22)$$

$p_w,p_c,p_i,p_p$，分别表示点在世界坐标系WCS，相机坐标系CCS，图像中心坐标系ICS，和像素坐标系PCS下表达。

3. 统一参数和矩阵

$$\begin{array}{rlr}{T}_{pi}& =k_{cam}=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]& (23)\\ T_{ip}& =k_{cam}^{-1}=\left[\begin{array}{ccc}\frac{1}{f_x}& 0& -\frac{c_x}{f_x}\\ 0& \frac{1}{f_y}& -\frac{c_y}{f_y}\\ 0& 0& 1\end{array}\right]& (24)\end{array}$$

$k_{cam}$为相机内参矩阵，即ICS坐标点到PCS坐标点的变换$T_{pi}$；
$k_{cam}^{-1}$为相机内参矩阵的逆矩阵，即像PCS坐标点到ICS坐标点的变换$T_{ip}$；
$f_x,f_y$分别为相机横向焦距，竖向焦距，单位为像素；
$c_x,c_y$表示图像中心点在PCS下的坐标，单位为像素。

$$T_{w{o}_i}=\left[\begin{array}{cccc}\cos (90)& -\sin (90)& 0& 0\\ \sin (90)& \cos (90)& 0& 0\\ 0& 0& 1& h\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cccc}0& -1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 1& h\\ 0& 0& 0& 1\end{array}\right](25)$$

$T_{w{o}_i}$表示初始OCS在WCS下的表达，是相机初始外参，从图1中可以看出，初始OCS可由WCS先绕自身Z轴旋转了90度，并沿自身Z轴正向平移h得到，最终得到上述变换矩阵$T_{w{o}_i}$。

$$\begin{array}{rlr}{T}_{o_i{o}_x}& =\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (\alpha )& -\sin (\alpha )& 0\\ 0& \sin (\alpha )& \cos (\alpha )& 0\\ 0& 0& 0& 1\end{array}\right]& (26)\\ T_{o_i{o}_y}& =\left[\begin{array}{cccc}\cos (\beta )& 0& \sin (\beta )& 0\\ 0& 1& 0& 0\\ -\sin (\beta )& 0& \cos (\beta )& 0\\ 0& 0& 0& 1\end{array}\right]& (27)\\ T_{o_i{o}_z}& =\left[\begin{array}{cccc}\cos (\gamma )& -\sin (\gamma )& 0& 0\\ \sin (\gamma )& \cos (\gamma )& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]& (28)\end{array}$$

$$\begin{array}{rlr}{T}_{o_i{o}_c}& =T_{o_i{o}_z}\ast T_{o_i{o}_y}\ast T_{o_i{o}_x}& \\ T_{o_i{o}_c}& =\left[\begin{array}{cccc}\cos \left(\gamma \right)\cos \left(\beta \right)& \cos \left(\gamma \right)\sin \left(\beta \right)\sin \left(\alpha \right)-\sin \left(\gamma \right)\cos \left(\alpha \right)& \cos \left(\gamma \right)\sin \left(\beta \right)\cos \left(\alpha \right)+\sin \left(\gamma \right)\sin \left(\alpha \right)& 0\\ \sin \left(\gamma \right)\cos \left(\beta \right)& \sin \left(\gamma \right)\sin \left(\beta \right)\sin \left(\alpha \right)+\cos \left(\gamma \right)\cos \left(\alpha \right)& \sin \left(\gamma \right)\sin \left(\beta \right)\cos \left(\alpha \right)-\cos \left(\gamma \right)\sin \left(\alpha \right)& 0\\ -\sin \left(\beta \right)& \cos \left(\beta \right)\sin \left(\alpha \right)& \cos \left(\beta \right)\cos \left(\alpha \right)& 0\\ 0& 0& 0& 1\end{array}\right]& (29)\end{array}$$

$T_{o_i{o}_x},T_{o_i{o}_y},T_{o_i{o}_z}$表示OCS绕其自身三个坐标轴的旋转矩阵，由于是绕固定坐标系旋转，即为外在旋转，依次左乘，则当前OCS在初始OCS下可表示为：$T_{o_i{o}_c}$。

---

重要说明：
WCS定义为：右-前-上；
OCS定义为：前-左-上（固连在相机对象上）；
CCS定义为：右-下-前。
且通常所说的横滚角roll、俯仰角pitch，航向角yaw均是基于OCS表示的；
右滚为正，左滚为负；下俯为正，上仰为负；左偏为正，右偏为负。

---

$$\begin{array}{rlr}{T}_{o_{c}c}& =\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-90)& -\sin (-90)& 0\\ 0& \sin (-90)& \cos (-90)& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos (90)& 0& \sin (90)& 0\\ 0& 1& 0& 0\\ -\sin (90)& 0& \cos (90)& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]& \\ & =\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\\ 0& -1& 0& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 1& 0& 0\\ -1& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]& \\ & =\left[\begin{array}{cccc}0& 0& 1& 0\\ -1& 0& 0& 0\\ 0& -1& 0& 0\\ 0& 0& 0& 1\end{array}\right]& (30)\end{array}$$

$T_{o_{c}c}$为CCS在当前OCS下的表示，这是不变的相机固有外参，该变换矩阵可由式（15）求得。具体过程为：当前OCS先绕自身X轴旋转-90度，然后绕旋转后得到坐标系的Y轴旋转90度，即可得到CCS，这个过程为绕动坐标系旋转，属于内在旋转，依次右乘，最终得到$T_{o_{c}c}$，如式（17）。

$$\begin{array}{rlr}{T}_{wc}& =T_{w{o}_i}\ast T_{o_i{o}_c}\ast T_{o_{c}c}& (31)\\ T_{cw}& =T_{wc}^{-1}=\left[\begin{array}{cc}{R}_{3X3}& t_{3X1}\\ 0& 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_{14}\\ r_{21}& r_{22}& r_{23}& t_{24}\\ r_{31}& r_{32}& r_{33}& t_{34}\\ 0& 0& 0& 1\end{array}\right]& (32)\end{array}$$
$T_{wc}$为CCS在WCS下的表达，可将CCS下的点变换为WCS下的点；
$T_{cw}$为WCS在CCS下的表达，即为通常所说的相机外参，可将WCS下的点变换为CCS下的点。

注释：在具体计算相机外参$T_{wc}$时实际上有很多种形式，这其中最让人看不懂的往往是坐标系的定义、绕那个坐标轴旋转、以及roll,yaw,pitch角度的定义，不论是网上的博客还是学术论文，每个人理解和定义的方式都不同，同时在把公式代码化的时候又常常简化过程以提高计算速度，最终造成的结果就是代码阅读性极差，在对照自己推导的公式时，发现总有地方不同，因此这里给处于混沌状态的同学一些提示：在进行任何推导前一定要先定义和梳理好坐标系以及角度的表示。

$$T_{ic}=\left[\begin{array}{cccc}\frac{1}{z_c}& 0& 0& 0\\ 0& \frac{1}{z_c}& 0& 0\\ 0& 0& \frac{1}{z_c}& 0\end{array}\right](33)$$

$T_{ic}$用于变换CCS下的点到ICS下，其中$z_c$为点在CCS下的Z轴坐标。

4. 相机投影成像一般过程

• 逐步形式：

$$\begin{array}{rlr}{p}_c& =T_{cw}\ast p_w& (34)\\ p_i& =T_{ic}\ast p_c& (35)\\ p_p& =k_{cam}\ast p_i& (36)\\ & \Downarrow & \\ \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]& =\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_{14}\\ r_{21}& r_{22}& r_{23}& t_{24}\\ r_{31}& r_{32}& r_{33}& t_{34}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]& (37)\\ \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]& =\left[\begin{array}{cccc}\frac{1}{z_c}& 0& 0& 0\\ 0& \frac{1}{z_c}& 0& 0\\ 0& 0& \frac{1}{z_c}& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]& (38)\\ \left[\begin{array}{c}\text{u}\\ \text{v}\\ 1\end{array}\right]& =\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]& (39)\end{array}$$

• 整体形式：

$$\begin{array}{rlr}{p}_p& =T_{pi}\ast T_{ic}\ast T_{cw}\ast p_w& (40)\\ & \Downarrow & \\ \left[\begin{array}{c}\text{u}\\ \text{v}\\ 1\end{array}\right]& =\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\frac{1}{z_c}& 0& 0& 0\\ 0& \frac{1}{z_c}& 0& 0\\ 0& 0& \frac{1}{z_c}& 0\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_{14}\\ r_{21}& r_{22}& r_{23}& t_{24}\\ r_{31}& r_{32}& r_{33}& t_{34}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]& (41)\end{array}$$