三维重建算法

1、三维重建的基本概念

1.1摄影空间

欧式几何不足以处理摄像机影像。

欧氏几何是射影几何的一个子集。

射影几何可以更好地描述摄影机影像处理。因为在射影几何中，允许存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋转。射影变换带来的缺点是其度量性质更少。

1.1.1齐次坐标

n维欧氏空间点p的齐次坐标为p(x1,x2,……,xn+1)T,其中xn+1不等于0，而且其无穷远点的定义与上类似。

1.1.2射影空间与射影变化

一个n维射影空间R”中的点可以用n+1个坐标向量来表示:x=(x1,x2,…,xn,xn+1)T,其中至少有一个分量不为零。两个坐标表示同一个点当且仅当存在一个标量@,使得对所有1<=i<=n+1,均有xi=@yi成立。
一个n维射影空间R”的射影基由此空间中n+2个点组成,且其中任意n+1个点不线性相关。从而对于射影空间R”中任一点x可以用标准射影基中任意n+1个的线性组合来表示。

1.1.2.1平面射影

2D射影几何研究的是………………

射影平面IP2定义：…………

摄影映射是：……………………直线映射到直线

摄影映射的等价代数定义是：………………

1.1.2.2三维射影

三维射影空间就是通常所称的射影空间。基本元素为点、线、面。  空间射影变换有15个自由度。

1.2摄像机成像模型

摄影机是三维空间物体与二维图像之间的一种映射，成像模型就是三维空间物体到二维视平面的投影关系。

1.2.1针孔成像

针孔摄像机模型假设图像坐标在两个轴向上具有等尺度的欧氏坐标。

1.2.2CCD摄像机

CCD摄像机像素不是正方形，不能假设为图像坐标在两个轴向上具有等尺度的欧式坐标。

1.3对极几何约束

1.3.1对极几何

对极几何(EPipolarGeomeyrt)是两幅图像之间内在的射影几何。它独立于景物结构,只依赖于摄像机内参数和相对姿态。

两幅图像之间的对极几何是图像平面与以基线为轴的平面束的交线的几何。

1.3.2基本矩阵（Fundamental Matrix）

是一个秩为2的3*3矩阵。

如果点对应问题解决了,则基本矩阵包含了从一对图像中可以恢复出来的所有信息。基本矩阵具有如下性质:

1.3.3本质矩阵

本质矩阵是归一化图像坐标系的基本矩阵的特殊形式。重要性质如下

2.三维重建与模型分析

通过影像匹配过程建立像对之间的对应关系之后,可以通过 几何约束进行三维重建。

三维重建通常可以分为四个层次,即射影重建,仿射重建,度量重建以及欧氏重建。

按照重建时使用的影像个数,可以将重建分为两视图重建、三视图重建以及多视图重建。

按照重建目标点的疏密程度,可以将重建分为结构重建和影像重建。

2.1三维重建的基本算法

建立基础矩阵

2.1.1射影重建

可以求出空间点在投影矩阵下的三维射影坐标

2.2.2欧氏重建

三维欧氏坐标和三维摄影坐标之间存在一个投影变换

2.2实时三维重建

对于多视图情形,光束法平差是一般方法,而光束法平差Kalmna滤波修正算法可以提供实时三维重建的一种实现。

2.2.1光束法平差三维重建

光束法平差是一个理想的方法,其优点是容忍数据的缺失并提供真正的最大似然估计，同时,该方法允许对每一个测量值指派单个协方差,并且可以扩展到先验估计和摄像机参数约束或者点的位置约束。它的缺点是需要提供一个好的初始值。另外,由于可能涉及大量参数,光束法可能会成为一个非常大的极小化问题。

使用光束法必须首先计算初始解。

光束法平差需要较为精确的初始参数才能获得较好的效果。如果没有可靠的参数初值,该算法会得到错误结果。
解决这个问题的一个途径是研究初值估计算法。另一个途径是引入其它约束来增加可靠性并简化计算。

2.2.2实时Kalman滤波修正算法

系统响应时间是三维重建算法的一个重要性能指标。

Kalmna滤波修正算法能够保证在增加、减少观测量时,不必重新进行整个观测量的平差计算,因此是一种较好的实时响应算法。

2.2.3粗差检测与剔除

2.3平面图约束三维重建

交互式重建算法：优点是可靠性较高，可以通过少量的对应点计算出可靠地基本矩阵从而获得简单重建过程。缺点是较多的人机交互增加了认得工作量，不能用于自动化过程。

2.3.1基本假设

基于几何约束的算法可以获得基本矩阵,从而可以实现三维射影重建。如果要恢复欧氏重建,则需要外部约束,例如地面控制点等。

2.3.2平面约束算法

通过已知的平面图,可以有效的重建三维目标。

2.3.3单视图约束

通过使用单视图约束可以获得摄像机标定参数,摄像机姿态和平面位置。但是不能确定摄像机的高度(Z坐标)和三维目标的结构。

2.3.4多视图约束

2.4标准立体模型误差分析

2.4.1标准立体成像模型
2.4.2模型误差分析

2.5汇聚立体模型误差分析

2.5.1汇聚立体成像模型

2.5.2模型误差分析

3、分层三维重建

三维重建是相机成像过程的逆过程，即从像素坐标系中某一像素点反向映射成世界坐标系中的空间点。

Faugeras将三维重建的过程分解成三步：

①根据图像对之间的对应点获得射影重建，并计算出射影意义下的摄像机的投影矩阵；

②在射影重建所获得的射影空间中，确定无穷远平面的位置，把射影空间升级到仿射空间；

③在仿射重建的基础上，进一步施加约束，确定绝对二次曲线(面)像的方程并计算出内参数，从而最终恢复出欧氏结构。

射影重建是分层重建的第一阶段，需要最少的约束信息。一旦获得高精度的基本矩阵，就可以进行射影重建。通过两视图间的像点对应关系可以建立基本矩阵F。通过基本矩阵可以构造出投影矩阵。

仿射重建的本质是用某些方法定位无穷远平面。

欧氏重建的关键是确定绝对二次曲线。由于绝对二次曲线Ω∞ 是无穷远平面上的一条平面二次曲线，因此确定绝对二次曲线就意味着确定无穷远平面。

光束法平差需要较为精确的初始参数才能获得较好的效果。如果没有可靠的参数初值,该算法会得到错误结果。
解决这个问题的一个途径是研究初值估计算法。另一个途径是引入其它约束来增加可靠性并简化计算。