计算机视觉6—对极几何和基础矩阵

目录

1.对极几何

2.相关矩阵知识

2.1 基础矩阵F（Fundamental Matrix）

2.2 本质矩阵E（Essential Matrix）

2.3 单应性矩阵H（Homogeneous）

3.实验

3.1 实验代码

3.2 左右拍摄，极点位于像平面

3.3 像平面接近于平行，极点位于无穷远

3.4 图像拍摄位置位于前后

4.问题与总结

---

1.对极几何

（1）什么是对极几何

对极几何是研究两幅图像之间存在的几何，描述的是两幅视图之间的内在射影关系，与外部场景无关，只依赖于摄像机内外参数。

（2）几个相关概念

• 基线：连接两个摄像机（相机）光心C（C′）C（C′）的直线
• 对极点：基线与像平面的交点
• 对极平面束：以基线为轴的平面束
• 对极平面：过基线的平面束中的一个平面
• 对极线：对极平面与图像平面的交线
• 基本矩阵F：3*3矩阵，对应点对之间的约束m′TFm=0
• 5点共面：点x，x'，摄像机中心C、C'，空间点X是5点共面的

（3）极线约束

对于一个单一的摄像机C观测X的情况，X必定位于一条穿过光心和摄像机平面中图像点 x 的光线上，然而从单独的一个摄像机，我们无法获知该点与光线间的距离。

如果考虑观测同一个点的第二个摄像机，从第一个摄像机可知，该点必定位于空间中的一条特定光线上，进而第二幅图像中该点的投影位置 x' 必定位于第二幅图像中这条光线投影上的某个位置，而三维空间中的光线在二维空间中的投影就是极线。

　　通过这种几何关系可以知道：对于第一幅图像中的任意点，其在第二幅图像中的对应点被限制在一条线上，这就是极线约束。而这条受约束的特定极线依赖于摄像机的内在参数和外在参数（也就是两个摄像机间的相对平移和旋转）。

      极线约束是一种点对直线的约束，而不是点与点的约束，尽管如此极线约束还是给出了对应点重要的约束条件，它将对应点匹配从整幅图像寻找压缩到在一条直线上寻找对应点。

极线约束的两个重要意义：

　　1）在已知摄像机的内在参数和外在参数的情况下，能够相对容易地找到对应点：对于第一幅图像中的某个点，只需要沿着第二幅图像中的极线执行一维搜索，就可以得到该点在第二幅图像中极线上对应点的位置。

　　2）对应点的约束是摄像机内在参数和外在参数的函数；在已知摄像机内在参数的情况下，可利用对应点的观测模式来确定摄像机的外在参数，因而确定两台摄像机间的几何关系。

2.相关矩阵知识

（1）推荐一篇非常详细清楚讲解的笔记：多视图几何矩阵详解

（2）矩阵相关概念

• 特征值：设A为n阶矩阵，若存在常数λ及n维非零向量x，使得Ax=λx，则称λ是矩阵A的特征值，x是A属于特征值λ的特征向量
• 奇异值：设A为m*n阶矩阵，q=min(m,n)，A*A的q个非负特征值的算术平方根叫作A的奇异值

【通俗区分特征值和奇异值：特征值及特征值分解是针对方阵而言，对于不是方阵的矩阵，使用奇异值及奇异值分解，即奇异值相当于方阵中的特征值，奇异值分解相当于方阵中的特征值分解，因为矩阵的特征值要求矩阵是非奇异矩阵（即方阵且行列式的值不为零）】

• 任意矩阵都能进行奇异值分解，只有方阵才可以进行特征值分解
• 对角矩阵特征值：指对角线上的各个元素
• 秩：指经过初等变换之后的非零行（列）的个数，若不存在零行（列），则为满秩矩阵。等于非零奇异值的个数，等于非零特征值的个数
• 自由度（参数矩阵）：指要求解出矩阵的所有元素至少需要列几个线性方程组。若矩阵本身带有 x 个约束，则只需要列n*n-x个方程组即可求出所有参数，即矩阵A的自由度为n*n-x

2.1 基础矩阵F（Fundamental Matrix）

（1）什么是基础矩阵

存在一个从一幅图像上的点到另一幅图像上与之对应的对极线的映射，这个映射的本质及时的映射矩阵，就是基础矩阵。

（2）基础矩阵的性质

• 3*3矩阵，自由度为7
• 使用图像坐标系
• 因为det(F)=0，所以基础矩阵的秩小于等于 2

（3）基础矩阵的求解方法

• 直接线性变换法（8点法+最小二乘法）
• 基于RANSAC估计基础矩阵

（4）简要描述