任何任何3×4投影矩阵P可以分解为3×3上三角形的乘积矩阵K和3×4姿态矩阵[R | T]
其中矩阵K通常被称为内在矩阵,它由相机本身的数量组成:垂直和水平焦距(fx,fy),主点(cx,cy)和偏斜s。该矩阵[R | T]通常被称为二元矩阵,其中R是相机的旋转,T是相机的平移。假设像素
没有偏差(s = 0),并且是平方(fx = fy)普通针孔相机型号是只是由7个参数组成:焦距f,旋转矩阵R和平移向量T
SFM (Strudtion from Motion):
SfM算法作为输入一组图像并产生两件事:每个图像的相机参数,一组在通常被编码的图像中可见的3D点轨道。 轨道被定义为重建的3D坐标3D点和相应的2D坐标列表输入图像的子集。 大多数当前最先进的SfM算法共享相同的基本进程流水线。
5使用约束调整优化SfM模型。
5约束调整
细化初始SfM模型。 给定一套相机参数{Pi},以及一组轨迹{Mj,{mji}},其中Mj表示轨道的3D坐标,mj我表示2D图像其图像投影在第i台相机的坐标,束调整最小化以下非线性最小二乘误差
V(j)是可见点Mj的相机索引的列表,Pi(Mj)表示相机中3D pointMj的投影2D图像坐标我使用相机参数Pi。E(P,M)通常以平方像素测量。
E(P,M)通常以平方像素测量,但更常见度量来表达估计的准确性是使用均方根误差或RMSE,以像素为单位进行测量定义为:
其中N是在(1.2)中总结的剩余项数。约束调整之前的典型RMSE值为顺序几个像素,而约束调整后的值通常是子像素。
多视图立体匹配
当相机参数已知(和场景)时是刚性的),从2D搜索简化了图像匹配问题到1D搜索。图像中的像素生成a通过像素和相机中心的3D光线图片。另一个图像上的相应像素只能在其上将该光线投影到第二图像中。不同的多个相机看起来的几何约束来自不同观点的相同的3D场景被称为对极几何[88]。