双目立体视觉系统 & 运动恢复结构问题 (SfM)

蓝色
紫色
红色

写在前面：本篇Blog仅作为学习笔记，学习内容来自于北邮CV-XUEBA团队的三维重建(精简版，鲁鹏)课程。

两种典型的基于图像的三维重建方法

1. 基于平行视图的三维重构方法

利用 两个视点 来观察物体，采用和人类视觉系统类似的方法进行重构三维场景。

平行视图

平行视图下的一些 极几何性质 ：

平行视图的优势：

1. 不需要计算极线 就可以直接寻找对应点，使得搜索相对简单。
2. 让整个场景的 三角化过程 变得很简单。
   
   高维向量求取叉乘矩阵
   

图像校正

一般情况下，我们构建的双目立体视觉系统通常 很难得到真正的 平行视图，所以需要图像校正来将 非平行视图 转换成 等价的平行视图 。

对应点搜索

相关匹配法

相关法存在的问题

2. 运动恢复结构法

运动恢复结构问题概述

欧式结构恢复 （摄像机内参数已知，外参数未知）

该任务对应的典型场景：扫地机器人、无人驾驶车
（在出厂前就可以对摄像机进行标定，在真实场景中应用的时候，可以使用这些 预先标定好的内参数 ，然后进行所在三维场景的恢复，进而支持下一步的决策）

欧式结构恢复歧义

仿射结构恢复 （仿射相机，内、外参数 均未知 ）

应用场景：待重构的物体 离摄像机较远 ，且待重构的物体或场景 深度变化不大 。

（相对而言，仿射相机的 参数更少 ，恢复起来更方便简洁）

仿射结构恢复歧义

透视结构恢复 （透视相机，内、外参数 均未知 ）

由于 约束比较少 ，所以应用范围更广。

eg.从互联网上下载一系列图片，并从这些图片重构出三维场景（不知道每张图片的摄像机参数，当然也不能忽略场景的深度变化）。

透视结构恢复歧义

---

透视结构恢复

主要有 三种方法：代数方法、因式分解法、捆绑调整

代数方法

捆绑调整