如何理解PnP问题的DLT解法以及Python编程实践

PnP问题的DLT解法

欢迎关注知乎@司南牧
已知：上一帧相机坐标系下的点的三维齐次坐标$Q$，和，那$n$个点在当前帧中的二维齐次坐标$q$, 和相机内参矩阵$K$。

待求解变量 :当前帧相对上一帧的位姿变换矩阵$[R|t]$ 。

约束方程：
$$K[R|t]Q=\lambda q$$

我们记

$$[R|t]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\end{array}\right]$$

DLT的思路就是把$a_{ij}$代入式$(1)$，然后求出$a_{ij}$就可以求出$[R|t]$。可以看到]现在我们有12个未知数一对点只能提供两个方程，所以需要6对点。

目前已知相机内参矩阵
$$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$

还已知在上一帧相机坐标系下的三维齐次坐标
$$Q=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$
还已知对应点在当前帧的二维坐标

$$q=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$
将式子$(2),(3),(4),(5)$代入到式$(1)$中得到：
$$K[R|t]Q=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right][\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{}\\ a_{31}& a_{32}& a_{33}& \end{array}$$