1. Introduction
提出一种新的SFM技术
SFM主要分为三类:增量式(most popular)\分层式\全局式;
但是目前在鲁棒性\精确度\完整性\扩展性方面还需要提高
2. Review of Structure-from-Motion
2.1 Correspondence Search---对应搜索
(1)特征提取:SIFT
(2)特征匹配:output:图片pair(a,b)、feature corrospondence(Mab = Fa × Fb)
(3)几何验证:由于特征匹配都是基于特征点的apparence的相似度,无法保证某个特征点可以准确的map到same scene point。所以利用投影几何来估计一个transformation,来map图像对儿之间的特征点。
· 具体方法如下:
a.平面场景:单应矩阵(H)
b.非平面场景:利用对极几何---本质矩阵(F:未标定)、基本矩阵(E:标定)
· 几何验证成功条件:如果transformation在图片对儿之间map的特征数量(内点,采用RANSAC方法)超过一定的阈值,就认为这两张图片通过了几何验证。
· 几何验证的output:通过几何验证的图像pair、内点对儿(Mab = Fa × Fb)、【可选】几何关系Gab
即生成scene graph,节点:图片;边:通过几何验证的图片对---verified pairs of images
tips:(单应矩阵、本质矩阵、基本矩阵讲解及约束关系推导:
http://www.cnblogs.com/youzx/p/6385513.html#wiz_toc_1)
2.2 增量式三维重建
input:scene graph
output:pose(Np个,注册成功的图片数)、points(Nx个,构成点云的三维点数)、
(1)初始化
在scene graph中选取两个dense location(with many overlapping cameras)---照片匹配数量多
(2)图片注册
通过PnP可以将新图片注册到当前的模型中(利用新加入图片与已注册图片之间的匹配点对儿&已生成的三维点---生成2D-3D对应,然后进行三角测量估计出出新加入图片的pose)
排除外点的影响:
a.标定的:用RANCAS & minimal pose slover
b.未标定的:minimal slovers 或者 sampling-based approaches
本文:提出一种next best image selection方法,准确估计pose、可靠的三角化
(3)三角化
新注册的图片需要满足的条件:1.看到已经生成的三维点; 2.通过与已注册的图片之间的新匹配生成新的三维点;
而三角化的作用,1.通过2D-3D对应实现新图片的注册;2.计算得到新的三维点
本文:提出一种robust&高效的三角化方法<