计算机视觉-单应性矩阵

一、单应性矩阵

单应性在计算机视觉领域是一个非常重要的概念，它在图像校正、图像拼接、相机位姿估计、视觉SLAM等领域有非常重要的作用。比如，在双目视觉中是否存在左右相机中像素点之间的关系？的确有，通过单应性矩阵可实现左右相机像素点之间的映射。

前提条件： 空间场景是空间场景是在同一平面时，他们在左右视图中的投影点可通过单应性矩阵进行一 一转换。

表达式为：

实际上，单应性矩阵不只是描述同一平面的像素点之间的关系，而是同一个平面在任意坐标系之间都可以建立单应性变换关系，比如影像坐标系与影像坐标系之间，世界坐标系和影像坐标系之间，如下图所示：

单应性变换的另一个典型应用是图像拼接，将像素点假象成一个局部小平面，并求解局部的单应性矩阵，即可建立两个视图之间像素的一一映射，从而完成拼接。

从单应性矩阵的角度，我们来完成基础矩阵的另一个推导，假设左右视图中的一对同名点 p1,p2，它们之间的单应性变换矩阵为H，则有

二、单应性矩阵表示方式1

记左右两相机分别为相机1与相机2，并假设空间中的特征点在同一平面上即Z=0，则有如下关系：

由以上公式可得：

单应性矩阵可表示为：

可得：

上式具有尺度不变性，即H可以诚意任意非零常数，不妨让h9=1,可得：

一对点产生两个方程，求解8个未知数至少需要四对点，可通过4对以上像素坐标对下式进行求解：

三、单应性矩阵表示方式2

记空间中一点在左右两相机下的像素坐标分别为p1,p2; 在左右两相机下的坐标分别为pc1,pc2;在两相机下的尺度因子分别为s1,s2; 两相机的内参数矩阵分别为K1,K2。则有：

两相机之间的位姿关系为R与T，则有：

因此，可得：

因此，当T=[0,0,0]时，满足

此时单应性矩阵近似为：

该情况需作出如下图的假设，平移向量T=[0,0,0],相机共心旋转。

参考1、https://zhuanlan.zhihu.com/p/377794028
参考2、https://zhuanlan.zhihu.com/p/138266214