单应性矩阵、本质矩阵

转载：https://i-blog.csdnimg.cn/blog_migrate/1714d8be0952a848735e60fa3173d42d.png

这一篇，要搞清楚两个概念，Planar Homography （共面点成像）& Epipolar Geometry（对极几何）

Now，Start！

先补充Homography的概念，简单来说Homography（单应性），说的是投影的时候可以逆过来找，比如,一个物体可以通过旋转相机镜头获取两张不同的照片(这两张照片的内容不一定要完全对应,部分对应即可),我们可以把单应性设为一个二维矩阵M,那么照片1乘以M就是照片2. 这有着很多实际应用，比如图像校正、图像对齐或两幅图像之间的相机运动计算（旋转和平移）等。一旦旋转和平移从所估计的单应性矩阵中提取出来，那么该信息将可被用来导航或是把3D物体模型插入到图像或视频中，使其可根据正确的透视来渲染，并且成为原始场景的一部分（请见增强现实）。

具体的解释可以戳wiki。

一、共面点成像

思路：同一物理点，不同成像面之间的关系。

在前面已经讨论了三维物体成像过程，相比之下，还有一种稍简单的情况——平面成像，即所有的物点都处在同一个平面上，我们有理由相信，这种情况下的成像关系是一般立体成像的一种特例。

先回顾一下一般的单体成像过程

 

对于共面的物点，在恰当的世界坐标系中，可以令其中一个坐标值为0，不妨设第三维坐标为0，图示如下：

由于物点的第三维坐标为0，整个成像过程的矩阵表示会得到简化。

可以简化为一个3X3的矩阵，称之为Homography矩阵，该矩阵是可逆的!!

对于正前方的物体平面(垂直于光轴)，成像关系将更进一步简化。

将共面物点经成像之后，再变换为数字图像(u,v)

研究共面点成像有什么意义呢？

原来是为了研究两幅图之间的关系!共面点成像过程总结如下：

应用之一：消除透视投影的失真

应用之二：图像拼接

在这些应用中，需要解决两个关键问题：

1. 如何确定两幅图像之间的变换关系(需要多少个已知点？如何计算？)

2. 如何生成新的像素点，即在拉伸或拼接之后，需要生成新的像素点。

选择第一种约束关系

可以写在线性方程组或矩阵的形式

在实际求解变换矩阵时，需要考虑数值计算的问题。

R.Hartley: “In Defense of the Eight Point Algorithm”
Observation: Linear estimation of projective transformation parameters from point correspondences often suffer from poor “conditioning” of the matrices involves. This means the solution is sensitive to noise in the points (even if there are no outliers).
To get better answers, precondition the matrices by performing a normalization of each point set by:
• translating center of mass to the origin
• scaling so that average distance of points from origin is sqrt(2).
• do this normalization to each point set independently

采用第二种约束关系

二、对极几何

　　先思考一个问题：用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系，本节的任务就是如何描述它们之间的对应关系，描述工具是对极几何 ，它是研究立体视觉的重要数学方法。

　　要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小。

　　先回顾简单的立体成像系统

对极约束的图示

更一般的立体成像关系：两个相机的坐标无任何约束关系，相机的内部参数可能不同，甚至是未知的。要刻画这种情况下的两幅图像之间的对应关系，需要引入两个重要的概念——对极矩阵(Epipolar Matrix)和基本矩阵(Fundamental Matrix)。

对极几何中的重要概念（参考下图）：

极点：极点 el :右相机坐标原点在左像平面上的像；极点 er :左相机坐标原点在右像平面上的像

极平面：由两个相机坐标原点 Ol 、 Or 和物点P组成的平面

级线：极平面与两个像平面的交线，即 plel 和 prer

级线约束：两极线上点的对应关系

有点烦人，先转移一下话题：What would Pinhead’s eye look like close up?

 

如果两个人同时看这一景物，将是什么样的呢？

 

再回到对极几何图上来，通过上面几幅图示，利用对极几何的约束关系，我们可以：

1. 找到物点P在左像平面上的像点 pl ；

2. 画出极线 plel ；

3. 找到极平面 Olplel 与右像平面的交线，即得极线 prer ；

4. 像点 pl 的对应点一定在极一 prer 上。

两个相机坐标系之间的关系为

由于R是正交矩阵，因此可写为

三向量共面，它们的混合积为零(混合积对应于有向体积)

将向量乘(叉乘)写成矩阵的形式

通过进一步的改写，可以得到左像点和右像点之间约束关系(非常简单、漂亮)

显然，左像点 pl 和右像点 pr 是通过矩阵 E=RS 来约束的，我们称矩阵 E 为本质矩阵(Essential Matrix)，它的基本性质有：

• has rank 2(秩为2)

• depends only on the EXTRINSIC Parameters (R & T)(仅依赖于外部参数R和T)