数学上解释为什么solvePnP至少需要3组点

这几天在做跟踪恢复的时候需要用给定的2D点和R，T计算3D点，于是重新手算了一边图像2D点和空间3D点的关系。过程中搞懂了为什么PnP计算rotation和translation的时候需要至少3组2D/3D点。

首先来看图像2D点和空间3D点的关系：

对于R和T展开并且对矩阵相乘展开我们得到：

把（3）式带入（1）式和（2）式，整理得：

Xw * ( fx * R11 + u0 * R31 - x * R31) + Yw * (fx * R12 + u0 * R32 - x * R32) + Zw * (fx * R13 + u0 * R33 - x * R33) = T3 * x - fx * T1 - u0 * T3

Xw * ( fy * R21 + v0 * R31 - y * R31) + Yw * (fy * R22 + v0 * R32 - y * R32) + Zw * (fy * R23 + v0 * R33 - y * R33) = T3 * y - fy * T2 - v0 * T3

我们可以看出，fx fy u0 v0是相机内参，上一节中已经求出，Xw Yw x y是一组3D/2D点的坐标，所以未知数有R11 R12 R13 R21 R22 R23 R31 R32 R33 T1 T2 T3一共12个，由于旋转矩阵是正交矩阵，每行每列都是单位向量且两两正交，所以R的自由度为3，秩也是3，比如知道R11 R12 R21就能求出剩下的Rxx。加上平移向量的3个未知数，一共6个未知数，而每一组2D/3D点提供的x y Xw Yw Zw可以确立两个方程，所以3组2D/3D点的坐标能确立6个方程从而解出6个未知数。

故PnP需要知道至少3组2D/3D点。

https://blog.csdn.net/aptx704610875/article/details/48915149