多视图几何---基础矩阵

目录

一、基础矩阵(Fundamental Matrix)

1、对极几何

2、基础矩阵推导

二、实现结果

三、实现代码

四、问题

---

一、基础矩阵(Fundamental Matrix)

这时候就要推荐大家一首歌了?The fundamental matrix song，相信这首歌对了解基础矩阵有所帮助~

基础矩阵体现了两视图几何（对极几何，epipolar geometry）的内在射影几何（projective geometry）关系，基础矩阵可以由两照相机的投影变换矩阵（相对旋转R和平移t）表示。基础矩阵的秩小于等于2，自由度为7。

1、对极几何

我们先了解一下什么是对极几何

对极几何是视图几何理论的基础，对极几何（Epipolar Geometry）描述了同一场景两幅图像之间的视觉几何关系。

空间中的点X在 两个像平面中的投影分别为 x, x’，则X与C, C', x, x'共面

对极几何关系中主要包含以下元素：

对极点=基线与像平面相交点（光心在另一幅图像中的投影）

对极平面 = 包含基线的平面

对极线 = 对极平面与像平面的交线

2、基础矩阵推导

给定一对图像，对于图像上的每点x，在另一幅图像中存在一条对应的对极线l'。在第二幅图像上，任何与该点x匹配的点x'必然在对极线l'上。该对极线试过点x与第一个摄像机中心C的射线在第二副图像上的投影。因此，存在一个从一幅图像上的点到另一幅图像上与之对应的对极线的映射,这个映射是一个对射，即是由基本矩阵F标识的从点到直线的射影映射。

设X在C，C'坐标系中的相对坐标分别p，p'，则有p = Rp'+T

根据三线共面，有

 

所以有

  

E为本质矩阵，描述了空间中的点在两个坐标系中的坐标对应关系。

K和K'分别为两个相机的内参矩阵，则有

  和