一、单应性矩阵
单应性在计算机视觉领域是一个非常重要的概念,它在图像校正、图像拼接、相机位姿估计、视觉SLAM等领域有非常重要的作用。比如,在双目视觉中是否存在左右相机中像素点之间的关系?的确有,通过单应性矩阵可实现左右相机像素点之间的映射。
前提条件: 空间场景是空间场景是在同一平面时,他们在左右视图中的投影点可通过单应性矩阵进行一 一转换。
表达式为:
单应性变换的另一个典型应用是图像拼接,将像素点假象成一个局部小平面,并求解局部的单应性矩阵,即可建立两个视图之间像素的一一映射,从而完成拼接。
从单应性矩阵的角度,我们来完成基础矩阵的另一个推导,假设左右视图中的一对同名点 p1,p2,它们之间的单应性变换矩阵为H,则有
二、单应性矩阵表示方式1
记左右两相机分别为相机1与相机2,并假设空间中的特征点在同一平面上即Z=0,则有如下关系:
由以上公式可得:
![](https://i-blog.csdnimg.cn/blog_migrate/b5d3ca0a3ca1f37db60b16c183fa8bbe.png)
单应性矩阵可表示为:
![](https://i-blog.csdnimg.cn/blog_migrate/34aa49e0e85baefccbe5f143fe83c0d9.png)
可得:
上式具有尺度不变性,即H可以诚意任意非零常数,不妨让h9=1,可得:
一对点产生两个方程,求解8个未知数至少需要四对点,可通过4对以上像素坐标对下式进行求解:
三、单应性矩阵表示方式2
记空间中一点在左右两相机下的像素坐标分别为p1,p2; 在左右两相机下的坐标分别为pc1,pc2;在两相机下的尺度因子分别为s1,s2; 两相机的内参数矩阵分别为K1,K2。则有:
![](https://i-blog.csdnimg.cn/blog_migrate/e1c284be3d454f3975266480ea662018.png)
两相机之间的位姿关系为R与T,则有:
![](https://i-blog.csdnimg.cn/blog_migrate/27c4fc31b1e37ccec4004bc445216d82.png)
因此,可得:
![](https://i-blog.csdnimg.cn/blog_migrate/910856f0d9ce37abf14a43d833146e00.png)
因此,当T=[0,0,0]时,满足
![](https://i-blog.csdnimg.cn/blog_migrate/d340980bfe8e2d1b2331542866ef879a.png)
此时单应性矩阵近似为:
![](https://i-blog.csdnimg.cn/blog_migrate/ac3a44fb1c8b160156df36908b701aa9.png)
该情况需作出如下图的假设,平移向量T=[0,0,0],相机共心旋转。
参考1、https://zhuanlan.zhihu.com/p/377794028
参考2、https://zhuanlan.zhihu.com/p/138266214