三维重建

1. 基本概念

    1）三维重建：就是指从图像出发恢复出空间点三维坐标的过程。

    2）三维重建的三个关键步骤：

          - 图像对应点的确定

          - 摄像机标定

          - 2图像间摄像机运动参数的确定

    3）摄像机标定：求解摄像机参数的过程，建立摄像机图像像素位置与场景点位置之间的关系，其方法是根据摄像机模型，由已知特征点的图像坐标求解摄像机的模型参数。

2. 图像的形成过程

2.1 坐标系

                                            Z=0         考虑径向失真

  (Xw,Yw,Zw) ->(Xc,Yc,Zc)------->(x,y)----------------->(x,y)-->(u,v)

2.2 摄像机光学成像的四个步骤

2.3 透视投影

    1）透镜成像原理

    

    2）小孔成像模型    

        

    3）中心透视投影模型

    

    4）畸变校正（径向和切向畸变）

    

    5）畸变校正（其这畸变类型）

    

2.4 图像数字化

    

    线性摄像机成像模型：

    

    fu，fv，u0，v0只与摄像机内部参数有关，则矩阵k为内部参数矩阵。

    其中fu ＝ f/dx ,fv = f/dy ,分别称为u轴和v轴上的归一化焦距；f是相机的焦距，dx和dy分别表示传感器u轴和v轴上单位像素的尺寸大小。
    u0和v0则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

    现以NiKon D700相机为例进行求解其内参数矩阵：

    就算大家身边没有这款相机也无所谓，可以在网上百度一下，很方便的就知道其一些参数：

    焦距 f = 35mm   

    最高分辨率：4256×2832     

    传感器尺寸：36.0×23.9 mm
    

    根据以上定义可以有：

    u0 = 4256/2 = 2128   

    v0 = 2832/2 = 1416  

    dx = 36.0/4256   

    dy = 23.9/2832

    fu = f/dx = 4137.8   

    fv = f/dy = 4147.3

   该模型中其他一些参数的含义解释：

   为投影深度，其几何意义是目标点P在摄像机坐标系中坐标的Z分量，一般情况下，该值令为1；R，t则构成了摄像机的外参数矩阵，分别称为旋转矩阵和平移矩阵。R是一个3X3的矩阵，t则是一个3X1的矩阵。R可以使用四元素法表示也可以使用欧拉角表示，各有各的好处。摄像机的仿真，可以简单的认为是对内外参数的仿真。只要理解了以上模型中各个量的含义，就可以很容易的模拟一个摄像机。

3. 像素坐标->世界坐标

D(u,v)=Z （即图像中(u,v)位置处的像素点对应的世界坐标系中物体的Z(深度)值）

参考：

1）摄像机标定