structure-from-motion revisited论文笔记

1. Introduction

提出一种新的SFM技术

SFM主要分为三类:增量式(most popular)\分层式\全局式;

但是目前在鲁棒性\精确度\完整性\扩展性方面还需要提高

2. Review of Structure-from-Motion

2.1 Correspondence Search---对应搜索

       （1）特征提取：SIFT

       （2）特征匹配：output：图片pair（a，b）、feature corrospondence（Mab = Fa × Fb）

       （3）几何验证：由于特征匹配都是基于特征点的apparence的相似度，无法保证某个特征点可以准确的map到same scene point。所以利用投影几何来估计一个transformation，来map图像对儿之间的特征点。

              · 具体方法如下：             

                     a.平面场景：单应矩阵（H）

                     b.非平面场景：利用对极几何---本质矩阵（F：未标定）、基本矩阵（E：标定）

              · 几何验证成功条件：如果transformation在图片对儿之间map的特征数量（内点，采用RANSAC方法）超过一定的阈值，就认为这两张图片通过了几何验证。

   · 几何验证的output：通过几何验证的图像pair、内点对儿（Mab = Fa × Fb）、【可选】几何关系Gab

     即生成scene graph，节点：图片；边：通过几何验证的图片对---verified pairs of images

tips：（单应矩阵、本质矩阵、基本矩阵讲解及约束关系推导：

              http://www.cnblogs.com/youzx/p/6385513.html#wiz_toc_1）

2.2 增量式三维重建

input：scene graph

output：pose（Np个，注册成功的图片数）、points（Nx个，构成点云的三维点数）、

       （1）初始化

              在scene graph中选取两个dense location（with many overlapping cameras）---照片匹配数量多

       （2）图片注册

              通过PnP可以将新图片注册到当前的模型中（利用新加入图片与已注册图片之间的匹配点对儿&已生成的三维点---生成2D-3D对应，然后进行三角测量估计出出新加入图片的pose）

              排除外点的影响：

                     a.标定的：用RANCAS & minimal pose slover

                     b.未标定的：minimal slovers 或者 sampling-based approaches

                     本文：提出一种next best image selection方法，准确估计pose、可靠的三角化

       （3）三角化

              新注册的图片需要满足的条件：1.看到已经生成的三维点； 2.通过与已注册的图片之间的新匹配生成新的三维点；

              而三角化的作用，1.通过2D-3D对应实现新图片的注册；2.计算得到新的三维点

              本文：提出一种robust&高效的三角化方法<