FAR: Flexible, Accurate and Robust 6DoF Relative Camera Pose Estimation 灵活、准确、稳健的 6DoF 相对相机姿态估计

摘要：估计图像之间的相对相机姿势一直是计算机视觉的核心问题。在大多数情况下，查找对应关系并求解基本矩阵的方法具有很高的精度（通过提取关键点进行匹配，如sift）。相反，直接使用神经网络预测姿态的方法对有限的重叠更可靠，并且可以推断出绝对的平移尺度，但代价是精度降低。作者的方法展示了如何结合两种方法的优点;我们的方法产生的结果既精确又稳健，同时还能准确地推断出平移尺度。模型的核心是一个 Transformer，它 （1） 学习在求解（关键点匹配）和学习（直接预测）的姿态估计之间取得平衡，以及 （2） 提供先验来指导（关键点匹配）求解器。全面的分析支持了我们的设计选择，并表明我们的方法可以灵活地适应各种特征提取器和对应估计器，在 Matterport3D、InteriorNet、StreetLearn 和 Map-free Relocalization的 6DoF 姿态估计中显示出最先进的性能。

---

简单总结：该算法将基于对应点求解和基于学习的相机位姿估计方法结合起来。使用Transformer网络来学习如何平衡和加权来自求解器和回归器的位姿估计结果。使用学习到的位姿估计结果作为先验,引导RANSAC求解器,改善其在缺乏足够对应点时的性能。在有足够对应点时,网络更多依赖求解器的精确结果;在对应点较少时,网络更多依赖自身的回归估计结果。FAR对输入的特征或对应点类型不加假设,能够适用于多种特征提取和对应点估计算法。

---

1. Introduction

        相对相机姿态估计是计算机视觉中的一个基本问题，在增强现实，机器人和自动驾驶中都有应用。最近的一项工作是学习估计对应关系，然后求解姿势，通常提供次级（sub-degree）误差。不幸的是，当面对巨大的视图变化时，这个框架的误差往往会上下摆动，如图1，左），并且由于它会产生基础矩阵或本质矩阵，因此无法恢复尺度信息。另一项工作是学习直接估计姿势，这不那么精确，但可以更鲁棒并产生平移尺度，如图1。

        所提出的方法建立在上述两种方法的基础上，以产生一种通用方法，该方法不比任何其中一个选项差，并且通常比两者都好。至关重要的是，它利用学习到的对应预测作为输入，并将学习的姿态估计与求解器相结合来估计 6DoF 姿态。对于这个任务，我们特意选择了Transformer，它可以处理密集的特征或对应关系作为输入。简言之，该方法是灵活的：与对应关系和特征主干无关;准确：与基于对应关系的方法的精度相匹配;和鲁棒性：建立在学习姿态方法的能力之上。

        FAR 使基于学习和基于求解器的方法能够相互改进。学习到的预测比求解器输出更可靠，因此用作求解器的先验偏置。改进的求解器输出往往比学习的输出更精确，之后与 Transformer 预测相结合，形成最终输出。预测通过Transformer预测的权重进行组合，这意味着Transformer可以根据其有效性学会更多地依赖任何一种方法。

        图 2 分析了FAR在实际应用中，将测量误差作为良好输入对应数量的函数。由于有许多对应关系，求解器非常准确，与之前相比几乎没有改进的余地。随着对应数量的减少，求解器性能会下降，但使用学习的先验可以有意义地缓解这种情况。学习到的权重也有助于鲁棒性，并绘制在右侧：如果存在很多对应关系，则 Transformer 主要使用求解器输出，而当存在较少对应关系时，则更多地使用回归器。这一方法，在对应关系较多的情况下不会牺牲精度，但在对应关系很少的情况下具有很大的增益。

        实验在许多场景和数据集中详细分析了 FAR。首先，作者分析了理论鲁棒性，从GT对应关系开始，程序性的增加了（1）噪声和（2&