Power Bundle Adjustment for Large-Scale 3D Reconstruction

日期

2023.6

论文标题

Power Bundle Adjustment for Large-Scale 3D Reconstruction

摘要

We introduce Power Bundle Adjustment as an expansion type algorithm for solving large-scale bundle adjustment problems. It is based on the power series expansion of the inverse Schur complement and constitutes a new family of solvers that we call inverse expansion methods. We theoretically justify the use of power series and we prove the convergence of our approach. Using the real-world BAL dataset we show that the proposed solver challenges the state-of-the-art iterative methods and significantly accelerates the solution of the normal equation, even for reaching a very high accuracy. This easy-to-implement solver can also complement a recently presented distributed bundle adjustment framework. We demonstrate that employing the proposed Power Bundle Adjustment as a sub-problem solver significantly improves speed and accuracy of the distributed optimization.

引用信息（BibTeX格式）

@misc{weber2023power,
title={Power Bundle Adjustment for Large-Scale 3D Reconstruction},
author={Simon Weber and Nikolaus Demmel and Tin Chon Chan and Daniel Cremers},
year={2023},
eprint={2204.12834},
archivePrefix={arXiv},
primaryClass={cs.CV}
}

本论文解决什么问题

大场景BA优化的问题

已有方法的优缺点

Bundle adjustment (BA) 是一个典型的计算机视觉问题，它最小化非线性重投影误差来联合估计相机参数和三维信息。the Normal Equation 是 BA 最耗费时间的步骤。the Schur complement trick 用来形成简化的相机系统 the reduced camera system (RCS)，该线性系统只涉及姿态参数，它的大小可以通过使用QR分解进一步减小，只得到RCS的矩阵平方根，然后转化为代数求解问题。然而无论是RCS 还是均方根方程都是通过迭代方法解决，如针对大尺寸的预条件共轭梯度算法或是针对小场景的Cholesky 分解方法。

本文采用什么方法及其优缺点

以the power series expansion of the inverse Schur complement 逆舒尔补的幂级数展开为基础，构成了一类新的求解方法，称之为逆展开法。还可以补充最近提出的distributed BA优化方法。

BA能量方程：

model 与observation 之间差异的所有残差。

Least Squares Problem

采用Levenberg-Marquardt (LM） 算法，是一种基于一阶泰勒展开方法，加入一个约束项进行收敛

Schur Complement

求解系统矩阵H 的逆对于大规模问题需要耗费很大算力和时间，因此通常使用Schur 来减少算力和时间。

Power Bundle Adjustment

分块矩阵Uλ分解式

导致将逆舒尔补表述为

为了将展开为Lemma .1 中详述的幂级数，我们需要限定

谱半径限定为1。

通过利用BA问题的特殊结构，我们证明了两个结果：

幂级数展开式是迭代导出的，必须有终止规则。通过类比 inexact Newton methods，使得 conjugate gradients algorithm 共轭梯度算法设置了一个停止准则

该准则通过将逆Schur补展开为补阶来保证在位姿更新的细化时幂级数展开停止，
在达到相同阶数时，是否比平均细化小得多

使用的数据集和性能度量

the BAL dataset 中 97个BA优化问题

传感器：Ladybug

威尼斯、特拉法加和杜布罗夫尼克的图片来自Flickr.com，被作为skeletal sets

精度：

Memory：

两个大小不同的BAL问题的收敛曲线

精度：