图像缩放对相机内外参矩阵的影响

参考资料：https://zhuanlan.zhihu.com/p/87185139

一、3D空间中点到图像的投影

  设3D空间中的点$(x,y,z)$投影到图像上的像素坐标（连续值，以左上角像素的左上角为原点的坐标系，注意与整数值的图像像素索引相区别，详见此文第2部分）为$(u,v)$，深度为$d$，图像内参矩阵为$I_{3\times 3}$，外参矩阵为$E_{3\times 4}$。则存在如下关系：
$$\left(\begin{array}{c}ud\\ vd\\ d\end{array}\right)=I_{3\times 3}{E}_{3\times 4}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$$记
$$I_{3\times 3}{E}_{3\times 4}=M_{3\times 4}=\left(\begin{array}{c}{m}_1\\ m_2\\ m_3\end{array}\right),P=\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$$其中$m_i\in {\mathbb{R}}^{1\times 3}$，易得
$$\{\begin{array}{c}ud=m_{1}P\\ vd=m_{2}P\\ d=m_{3}P\end{array}$$

二、图像缩放及同一3D点在缩放前后图像中的投影坐标

  设原始图像的宽和高分别为$W$和$H$，其缩放比例（缩放因数）分别为$s_1$和$s_2$（即缩放后图像的宽和高分别为$s_{1}W$和$s_{2}H$），如下图所示（图中$W=6,H=4,s_1=1/3,s_2=1/2$；左图为原始图像，右图为缩放后的图像）：

  对于3D空间中的同一个点，其投影到缩放前后图像上的相对位置是相同的（图中黄点）。换句话说，若以左上角像素的左上角为原点建立图像坐标系，其在缩放前后图像中的坐标（分别记为$(u,v)$和$(u^{\prime },v^{\prime })$）之比即为$(1/s_1,1/s_2)$。
  由深度的几何（物理）含义可知同一个点在缩放前后图像中的深度不变。

三、图像缩放后内外参矩阵的变化

  根据第一节中的最后一个公式和第二节中的分析：$$\{\begin{array}{c}ud=m_{1}P\\ vd=m_{2}P\\ d=m_{3}P\end{array},\{\begin{array}{c}{u}^{\prime }{d}^{\prime }=s_{1}ud=m_1^{\prime }P\\ v^{\prime }{d}^{\prime }=s_{2}vd=m_2^{\prime }P\\ d^{\prime }=d=m_3^{\prime }P\end{array}$$可知$m_3^{\prime }=m_3$，而$m_1^{\prime }=s_1{m}_1,m_2^{\prime }=s_2{m}_2$。
  故结论为：图像缩放时，内外参矩阵之积的第一行需要乘上宽的缩放因数，第二行需要乘上高的缩放因数。

注意：设缩放前像素的整数索引为$(u,v)$，图像的宽和高分别为$W$和$H$，缩放比例（缩放因数）分别为$s_1$和$s_2$，若仍按照第二节的方式计算缩放后的坐标$(u^{\prime },v^{\prime })$（即$u^{\prime }=s_{1}u,v^{\prime }=s_{2}v$），则存在参考资料中所谓的“0.5像素问题”。这是因为像素的整数索引和像素的连续坐标之间相差了0.5（同样可见此文第2部分）。如果在缩放时考虑到了这一点（如使用cv2.resize()函数实现缩放），则可直接使用第三节的结论。