坐标系变换、相机模型以及色彩空间与深度空间的映射关系

———————————————————————————————————————

本文作者：王勇21633012

转载请保留此信息

原文链接：https://blog.csdn.net/weixin_38275649/article/details/80945601

———————————————————————————————————————

0.首先，声明一些相关的定义

所有坐标系均使用标准的右手笛卡尔坐标系（基的模为1，坐标轴两两正交）.

• 下标"1","2"分别代表相机-深度坐标系、相机-色彩坐标系的量，世界坐标系下的量无下标，下标"21"代表深度坐标系向色彩坐标系的转换量，反过来也有类似的定义.
  
• P：空间点；R：旋转矩阵；T：平移量；X、Y、Z：点坐标；u、v：像素坐标；c：感光面中心像素坐标；f：焦距；dx、dy：像素边长；K：内参矩阵；p：像素点.
  

1.相机-世界坐标系变换

$$P_1=R_1P+T_1$$

这个公式是描绘由世界坐标系向相机坐标系的转换关系。这里面要说明的是\(R_1\)是旋转矩阵，也就是说\(R_1\)是当相机坐标系方向不变，其原点与世界坐标系原点重合时候，世界坐标系的基向量(列向量)在相机坐标系中坐标构成的矩阵，有关详细内容见欧氏变换与旋转向量；\(T_1\)是相机坐标系下世家坐标系原点的坐标。

2.色彩-深度坐标系变换

根据相机-世界坐标系变换关系，我们容易得到以\(P_1\)表示的\(P\)：

$$P={R_1}^{-1}(P_1-T_1)$$
进一步就可以表示\(P_2\):
$$P_2=R_2({R_1}^{-1}(P_1-T_1))+T_2$$
整理得：
$$P_2=R_{21}(P_1-T_1)+T_2$$

3.相机模型

$$\begin{bmatrix} {\boldsymbol u} \\{\boldsymbol v} \\1\\\end{bmatrix} ={\frac{1}{\boldsymbol Z}}\begin{bmatrix} {\boldsymbol {\frac{f}{dx}}}  &  0&{\boldsymbol c_x }\\0&{\boldsymbol {\frac{f}{dx}}}  &{\boldsymbol c_y }\\0&0&1\\\end{bmatrix}\begin{bmatrix}{\boldsymbol X} \\{\boldsymbol Y}\\{\boldsymbol Z}\\\end{bmatrix}={\frac{1}{\boldsymbol Z}}{\boldsymbol {KP}}$$
K为内参矩阵。具体推导这里就略过了，这个相机模型网络上资料很多很容易理解。
对于深度相机：
$$ {\boldsymbol{ Z_1p_1=K_1P_1}}$$
对于色彩相机：
$$ {\boldsymbol{ Z_2p_2=K_2P_2}}$$
\(P_1,P_2\)间关系：
$$ {\boldsymbol{P_2= R_{21}(P_1-T_1)+T_2}}$$
整理得：
$$ {\boldsymbol{p_2= K_{21}p_1+{\frac{1}{\boldsymbol Z}}K_2(T_2-R_{21}T_1)}}$$
其中：
$$ {\boldsymbol{K_{21}= K_2R_{21}K_1^{-1} , R_{21}=R_2R_1^{-1}}}$$
色彩空间和深度空间的深度应该相同，故\( {\boldsymbol {Z_1=Z_2}}\)
内参外参\( {\boldsymbol{K,R,T}}\)通过标定得到。另外，在映射时的深度图和色彩图是畸变校正后的图片。