权龙论文（2）——Accurate, Scalable and Parallel Structure from Motion

本文解决的问题：

解决了大规模图像SFM方法精确性问题，尤其在解决相机定位问题上效果显著。

---

本文主要贡献：

1.相机聚类算法：我们将所有相机和相关图像分成簇，并利用这样的公式化来处理后续轨道生成，局部增量SfM和最终束调整，以可扩展和并行的方式进行。

2.利用增量和全局SfM实施运动平均方法：我们将局部增量SfM的相对运动应用于全局运动平均框架，并获得比最先进方法更准确和强大的全局相机姿态。

---

1.相机聚类算法

我们首先介绍一种摄像机聚类算法，将原始SfM问题分解为几个较小的可管理子问题，这些问题涉及摄像机和相关图像的集群。具体来说，我们的摄像机聚类的目标是找到摄像机群集，使得每个群集的所有可扩展SfM操作适合单个计算节点以进行有效处理（大小约束），并且所有群集具有足够的重叠摄像机以及相邻群集。当在运动平均框架（完整性约束）中将相应的部分重建合并在一起时，保证完全重建。
总之，就是把相机和相关图像分成簇，局部增量SFM的计算量与单个计算机节点的计算能力相匹配。

3.2.1 Clustering Formulation

我们的目标是将原始相机图G = {V,e}划分为一组子图{Gk|Gk={Vk，Ek}},子图具有重叠顶点和相关的边。

1.相机图G = {V,e};其中每个节点Vi ∈V代表摄像机Ci∈C
2.权重为w（eij）的每个边缘eij ∈ E连接两个不同的摄像机C i和C j；因此，我们将边权重w（eij）定义为特征对应的数量，即w（eij）= |Mij|。

3.2.2 Clustering Algorithm

从原始相机图G = {V,e}的主要连通分量开始，我们设计了一个三步算法来解决相机聚类问题。我们在图中说明了该算法的示例输出。

我们的相机聚类算法的图示。 对于每个最终子图，在图扩展步骤之后新添加的顶点和边（用半透明颜色标记）也包含在一些其他子图中。

1. Graph simplification
   我们修剪相机图G = {V,e}的边缘，有效地降低了剩下的两个步骤的复杂性。简化图G = {V,e’}应该满足每个顶点Vi ∈V的度低于阈值λd（λd= 80）。然后，我们按边缘权重w（eij）按升序对所有图形边缘进行排序，并贪婪地丢弃具有最低权重的边缘以及任何连接的两个顶点大于λd的度数。我们迭代地执行边缘移除，直到每个图节点满足度约束。
2. Graph division
   我们通过递归地分割相机簇来保证尺寸约束。更具体地，不符合尺寸约束的相机集群被分成更小的组件。从简化图G’开始，我们迭代地应用归一化切割算法[10]，其保证无偏顶点分区，将不满足大小约束的任何子图Gi划分为两个平衡子图Gi1和Gi2，直到没有子图违反大小约束。直观地说，具有大量共同特征的相机对具有高边缘权重，不太可能被切割。
3. Graph expansion
   我们通过在相邻的相机集群之间引入足够的重叠相机来实施完整性约束。

3.3. Camera Cluster Classification

来自聚类算法的相机聚类可以分为两类，即独立和相互依赖的相机聚类。

---

2.利用增量和全局SfM实施运动平均方法

4.1. Track Generation

可扩展SfM的第一步是利用成对特征对应关系在所有图像上生成全局一致的轨迹，问题可以通过标准的Union-Find [35]算法来解决。。然而，随着输入图像集合的大小扩大，逐渐变得不可能同时将所有特征和相关匹配文件加载到单个计算节点的存储器中以用于轨道生成。因此，我们基于分层相机集群树Tc来执行轨道生成。

4.2. Local Incremental SfM

对于由子图Gk ={Ek,Vk}表示的每个相互依赖的相机簇的相机和相应轨道，我们以并行方式在每个计算节点上执行后续的局部增量SfM。局部增量SfM在每个新添加的摄像机[29]的姿态估计中考虑N视图（≥3）,并且将基于RANSAC [6]的滤波器与重复的局部束调整[57] 有效地组合,丢弃错误的特征对应和基本矩阵。

4.3. Motion Averaging

4.3.1 Preprocessing
首先，我们仅利用与具有足够公共轨道（≥12）的相机对相关联的相对运动来进行后续运动平均，并且这种预处理显著地降低了接下来的计算复杂度。我们遵循最先进的[5]用于高效和稳健的旋转平均。

4.3.2 Translation Averaging
我们通过最小化由Et = Ec +αEp定义的平移成本函数Et来改进高效且有原则的平移平均方案[55]，其中Ec和Ep分别是摄像机到摄像机和摄像机到点的平均成本函数，α让Ec和αEp的初始值相等。

Camera-to-camera relative translation
给定输入摄像机C = { Ci }，投影矩阵用{Pi|Pi=Ki[Ri|-Rici]}表示，一组摄像机到摄像机的相对平移Tc = { tij }，摄像机到摄像机平移成本函数Ec可以表述为：

Camera-to-point relative translation
最先进的工作[55]提到，通过相机到点相对平移的平移问题的增加通常会引入噪声结构和运动，因为相机和轨道之间存在巨大的错误连接。由于局部增量SfM由基于RANSAC [6]的滤波器组成，能够丢弃异常的光谱跟踪对应和束调整[53]，以非线性最小二乘方式进一步优化相对运动，**从局部增量SfM恢复的相机和轨道集群中，我们可以得到相机到点的相对平移，我们可以直接把该相对平移应用到我们的平移平均公式。**更具体地，给定输入相机C = { Ci }，其投影矩阵由{Pi|Pi=Ki[Ri|-Rici]}表示，它们的可见稀疏3D点P ={pj}以及相机和对应相机的可见3D点的相对平移T p ={tij}，摄像机到点平移成本函数Ep定义为：

4.4. Bundle Adjustment

我们遵循Eriksson等人[14]提出的用于分布式束调整最先进的算法。由于，这项工作[14]宣称对摄像机的分区没有限制，我们直接将独立的摄像机组和相关的摄像机，轨道和投影称为束调整的目标函数的子问题。对于每个独立的摄像机群集，我们根据基于平均全局相机几何结构的局部增量SfM验证的特征对应，用足够的可见相机（≥3）对其相应的3D点进行三角测量[31]。

---

我们的管道能够以高度可扩展和并行的方式处理城市规模的SfM问题，特别是相机标定，其规模远远超过最先进的方法，并且最终能够生成高度准确和一致的相机几何，用于随后的密集立体重建。