单应矩阵H

单应矩阵（Homography）H描述的是两个平面之间的映射关系。若特征点都落于场景中的某一平面上，则可以用单应矩阵计算相机位姿。单应矩阵H隐式的约束了世界的不同点之间的关系(平面假设)，基础矩阵E表示了同一个点在不同视角下的关系。如相机俯视地面时可以近似为平面的情况。室外平视时存在很多近点以及无穷远点，可以视为非平面情况。
对于世界坐标为P的点，其在两相机成像点为p1，p2.则有
$$s_1{\mathbf{p}}_1=\mathbf{K}\mathbf{P},s_2{\mathbf{p}}_2=\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})$$
特征点所在的平面$${\mathbf{n}}^T\mathbf{P}+d=0$$
则$$\begin{array}{rl}{\mathbf{p}}_2& =\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})\\ & =\mathbf{K}\left(\mathbf{R}\mathbf{P}+\mathbf{t}\cdot \left(-\frac{{\mathbf{n}}^T\mathbf{P}}{d}\right)\right)\\ & =\mathbf{K}\left(\mathbf{R}-\frac{\mathbf{t}{\mathbf{n}}^T}{d}\right)\mathbf{P}\\ & =\mathbf{K}\left(\mathbf{R}-\frac{{\mathbf{t}\mathbf{n}}^T}{d}\right){\mathbf{K}}^{-1}{\mathbf{p}}_1\end{array}$$
即$$\mathbf{H}=\mathbf{K}\left(\mathbf{R}-\frac{\mathbf{t}{\mathbf{n}}^T}{d}\right){\mathbf{K}}^{-1}$$
$${\mathbf{p}}_2=\mathbf{H}{\mathbf{p}}_1$$
代入，有
$$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=\left(\begin{array}{lll}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$$
于是有$$\begin{array}{l}{h}_1{u}_1+h_2{v}_1+h_3-h_7{u}_1{u}_2-h_8{v}_1{u}_2=u_2\\ h_4{u}_1+h_5{v}_1+h_6-h_7{u}_1{v}_2-h_8{v}_1{v}_2=v_2\end{array}$$
于是一对匹配点可以产生两个等式，也就是两个约束，因此只需四对点即可解出H。