Multi-View Stereo for Community Photo Collections论文翻译

部分翻译如下，全文请下载文件：https://download.csdn.net/download/u014679795/11974708

1 Introduction

我们的方法是基于以下观察:有大量在线图片的情况下，应该存在在相似光照，天气，曝光条件，相似分辨率和足够长基线的子集。通过自动识别这些子集，我们可以极大地简化问题，在提供足够的视差进行精确重建的同时，匹配外观和比例相似的图像。虽然这个想法是概念上很简单,他的有效执行需要两个方面：在图像层面，估计尺度，外观和足够长的基线；在像素层面，处理遮挡，杂乱，局部光线变化，并鼓励水平和垂直上视差的匹配。我们的主要贡献是设计和分析这样一个自适应的视图选择过程。我们发现这种方法在很多场景和cpc上都是有效的。事实上，我们的实验表明，简单的匹配指标能够在许多场景的重要部分上容忍惊人的广泛的照明变化。虽然我们希望未来的工作能扩展这一操作范围，甚至利用外观上的巨大变化，但我们相信结合简单度量的视图选择是一种有效的工具，也是从互联网派生的集合中重建场景的重要的第一步。

在此基础上，我们提出了一种新的多视点立体匹配算法。这种表面生长方法以输入的稀疏特征点为输入，成功地利用了从结构到运动的技术[2,23]，产生了这样的输出，并且最近被证明可以在CPCs上有效地运行。与许多立体方法[21]中常见的获取离散深度图的方法不同，我们选择重建子像素精确的连续深度图。为了大大提高对源视图中外观差异的适应能力，我们使用了一种光度窗口匹配方法，其中表面深度和法线同时优化，我们自适应地抛弃了不加强匹配窗口的互相关的视图。与深度合并方法结合使用，结果表明该方法与当前在Middlebury基准上性能最好的多视图立体重建方法具有竞争力

被cpc上的特殊挑战所激励，我们提出了一种新的多视点立体匹配算法，使用表面生长方法迭代地重建稳健而准确的深度图。这种表面生长方法以输入的稀疏特征点为输入，成功的利用了sfm技术，并在最近被证明可以有效地在CPCs上运行。与许多立体视觉方法中常见的获取离散深度图不同，我们选择重建子像素精度的连续深度图。为了大大提高对源视图中外观差异的适应能力，我们使用了一种光度窗口匹配方法，其中对表面深度和法线同时优化，我们自适应地抛弃了不加强匹配窗口的互相关的视图。我们自适应地抛弃了不加强匹配窗口互相关性的视图。与深度合并方法结合使用，结果表明该方法与当前在Middlebury基准上性能最好的多视图立体重建方法具有竞争力

 

3 Algorithm Overview

我们的方法从互联网集中重建几何包括几个阶段。首先，我们标定相机的几何和畸变。然后，我们为每个输入图像估计深度图——每个图像作为一个参考视图正好一次。为了找到好的匹配，我们应用了一个两级视图选择算法。在图像级，全局视图选择(章节5.1)为每个参考视图识别一组好的邻域图像，用于立体匹配。然后，在像素级，局部视图选择(章节5.2)确定这些图像的子集，从而产生稳定的立体匹配。这个子集通常因像素而异。

通过对深度和法线进行优化，在每个像素上进行立体匹配，初始估计从SIFT特征点或从以前计算的相邻视图的复制开始。在立体视觉优化过程中，可能会丢弃不匹配的视图，并根据局部视图选择标准添加新的视图。像素点的遍历由像素点估计的匹配置信度排序。如果找到较高的置信度，像素会被重新访问，并更新深度。

 

4 Calibrating Internet Photos

由于我们的输入图像是从社区照片收集中获得的，因此通常不提供相机姿态、内部物理和传感器响应特性。因此，我们必须首先从几何和放射测量两方面对这组图像进行校正。

首先，在可行的情况下，我们使用PTLens从图像中去除径向畸变。PTLens是一种商用工具，可以从图像元数据(EXIF标记)中提取相机和镜头信息，并基于相机和镜头属性数据库纠正径向畸变。不能被纠正的图像会自动从CPC中删除，除非我们知道它们没有明显的镜头畸变(例如，在MVS评估数据集[22]的情况下)。接下来，将剩余的图像输入到一个健壮的、基于SIFT特征检测器[18]的度量结构-运动(SfM)系统[2,23]中，该系统将为所有成功注册的图像生成外部和内部校准(位置、方向、焦距)。它还从匹配的特征中生成稀疏的场景重建，并为每个特征生成被检测到的图像列表。

为了模拟径向畸变，我们尝试将所有输入图像转换到线性径向空间。除非捕获系统的准确响应曲线是已知的，否则我们假设图像是在标准sRGB颜色空间中，并应用反sRGB映射。