经典文献阅读之--Cross-view image geo-localization...(跨视角图像地理定位与全景鸟瞰视图共同检索网络)

0. 简介

跨视角地理定位通过将街景图像与地理参考的卫星数据库进行匹配，以识别其地理位置。然而，由于视角之间外观和几何形状的显著差异，面临着重大挑战。《Cross-view image geo-localization with Panorama-BEV Co-Retrieval Network》提出了一种新的跨视角图像地理定位方法，即全景鸟瞰视图共同检索网络（Panorama-BEV Co-Retrieval Network）。具体而言，通过利用地面平面假设和几何关系，我们将街景全景图像转换为鸟瞰视图（BEV），从而缩小街景全景与卫星图像之间的差距。在现有的街景全景图像与卫星图像的检索中，我们引入了BEV和卫星图像检索分支，以实现协同检索。通过保留原始的街景检索分支，我们克服了BEV表示的感知范围有限的问题。我们的网络能够全面感知街景捕捉位置周围的全球布局和局部细节。此外，我们引入了CVGlobal，一个更接近现实场景的全球跨视角数据集。该数据集采用了更为真实的设置，街景方向与卫星图像不对齐。CVGlobal还包括跨区域、跨时间和街景到地图的检索测试，从而实现对算法性能的全面评估。我们的方法在CVUSA、CVACT、VIGOR等常见跨视角数据集以及我们新引入的CVGlobal上表现优异，超越了当前的最先进方法。代码和数据集可在Github上找到。

1. 主要贡献

具体而言，我们并不是直接将卫星视图与街景图像进行匹配，而是首先将卫星视图图像转换为极坐标视图图像，然后再与街景图像进行匹配，如图1(b)所示。极坐标变换有效地对齐了跨视角共享信息，例如道路方向，从而实现了显著的性能提升。然而，与地面图像相比，转换后的极坐标视图图像在信息分布上仍然存在显著差异。例如，地面图像通常包含一些天空信息，而极坐标转换后的图像则包含树冠信息，并且存在相当大的形态失真。我们的主要贡献可以总结如下：

• 我们提出了一种新颖的变换方法，用于跨视角检索任务，明确地将街景全景图像转换为鸟瞰视图（BEV），有效地弥合了街景与卫星视角之间的差距。通过设计全景鸟瞰视图共同检索网络（Panorama-BEV Co-Retrieval Network），我们促进了与街景全景和BEV图像的协同卫星检索，超越了BEV的感知限制，全面感知全球布局和局部细节。
• 我们引入了CVGlobal，一个更接近现实应用场景的全球跨视角检索数据集。该数据集具有不确定的街景方向，并支持跨区域、跨时间以及街景到地图的检索任务的评估。
• 我们的方法在多个数据集上进行了广泛评估，并在挑战性的跨区域任务中超越了当前的最先进方法。

图1. 跨视角检索的目标是识别与街景全景查询（a）在视觉上最相似的地理参考卫星图像。现有方法使用极坐标变换将卫星视图转换为极坐标视图，然后进行检索（b）。我们的方法采用显式全景鸟瞰视图（BEV）变换，将街景图像转换为与卫星视图一致的BEV视角，同时保留之前的街景全景到卫星检索路径（c）。

2. 方法概述

在跨视角检索任务中，目标是根据输入的街景全景查询的视觉特征，识别数据库中最相似的卫星图像，从而实现街景数据的地理定位。该任务的主要挑战在于街景图像与卫星图像之间存在显著的视角差异。我们通过采用显式全景鸟瞰视图（BEV）变换来弥合这两个领域之间的差距，突出跨视角信息。此外，为了克服BEV的保真映射的观察范围有限的问题，我们还利用街景全景分支来获取更广泛的全球观察范围。如图3所示，本文提出了一种新颖的跨视角检索方法——全景-BEV协同检索网络。在BEV分支中，街景图像通过EP-BEV变换转换为卫星视角以进行检索（见第3节）。与此同时，街景全景分支直接使用全景图像来搜索卫星图像。我们通过同时利用街景全景和BEV图像实现协同检索（见第4节）。我们为街景和BEV分支训练了两个模型，使用相同的对比图像检索目标。在测试过程中，网络将同时应用两个分支，以检索与给定街景查询匹配的图像，最终决策将通过结合两个分支的相似性得分来做出。

图3. Panorama-BEV共同检索网络的示意图。街景图像及其通过EP-BEV转换的图像作为查询输入，而卫星图像则作为参考输入。该网络包括一个街景分支，专注于与卫星图像匹配全局布局信息，以及一个BEV分支，强调附近街景区域与卫星视角之间的详细特征匹配。

3. 显式全景鸟瞰图（BEV）变换

传统的鸟瞰图（BEV）变换过程依赖于对深度信息和相机参数的准确估计。相比之下，我们提出的方法利用基于地面平面的几何反投影过程，直接计算全景图中点在BEV平面上的对应位置（如图4所示）。

…详情请参照古月居