卡内基梅隆大学提出 BEVLoc 通过鸟眼视图合成进行交叉视图定位和匹配！

最新推荐文章于 2025-01-09 18:01:51 发布

小天才学习机打游戏

最新推荐文章于 2025-01-09 18:01:51 发布

阅读量815

点赞数 28

文章标签：知识图谱人工智能 microsoft prompt chatgpt

本文链接：https://blog.csdn.net/m0_59164520/article/details/144110736

版权

地面到空域匹配是室外机器人领域的关键且具有挑战性的任务，尤其是在GPS不存在或不可靠的情况下。建筑物或大型密集森林等结构会制造干扰，需要GNSS替代全球定位估计。

真正的困难在于在可接受的局部定位中调和地面图像与空中图像之间的视角差异。受到自动驾驶领域社区的启发，作者提出了一种新颖的框架，用于合成鸟瞰视角（BEV）场景表示，以匹配和定位到无人机航拍图中的场景。

作者利用具有特定领域的对抗学习，利用领域特定硬负样本挖掘训练网络，使其学习合成BEV和无人机航拍图之间的相似表示。在推理过程中，BEVLoc通过从粗到细的匹配策略引导识别出空中地图中最可能的位置。

作者的结果表明，在语义多样性极低的情况下，即使在极为困难的森林环境中，也取得了有前景的初步结果。作者对模型在粗匹配和细匹配方面的性能进行了分析，评估了模型的原始匹配能力和作为GNSS替代品的性能。

作者的工作深入探讨了越野地图定位，同时为未来定位技术的开发奠定了基础。

代码已发布在：https://github.com/rpl-cmu/bevloc

I Introduction

在导航领域，GPS的可靠性和一致性对于现有的定位解决方案至关重要，以帮助将位姿优化约束在最小化漂移范围内。然而，GPS通常会被过度林业、上跨结构、大气条件或敌方故意干扰GPS信号所破坏。当GPS不存在时，视觉测距（VO）和视觉惯性测距（VIO）系统最终会漂移并变得全局不准确，如果没有任何类型的全球参考或注册[4][8]。这些不准确的估计会导致进入不可通行区域、偏离计划路径以及对环境或机器人本身的损害。

仅使用视觉传感器而没有可靠的GPS信号，会加剧状态估计的挑战和困难。尽管部署高成本的激光雷达传感器可能会延迟漂移的出现，但重新访问或环闭合仍然是不可避免的。为了应对这一挑战，作者探索使用环境先验地图来帮助作者的GPS denied定位 Pipeline ，通过视觉匹配和试图在已知地图内重新定位。

虽然许多现有方法关注于道路上数据集的丰富语义内容，但作者的重点在于稀疏语义信息的情景。主要的挑战在于收集尽可能多的信息以创建几何和语义特征进行匹配。然而，这伴随着与空中地图和第一人称视角（FPV）图像之间的一致性问题 - 季节变化和植被变化可能会增加额外的复杂性。

作者致力于解决“被绑架的机器人问题”，针对自主地面机器人，在只有环境地图、先前的GPS位置和机器人上的视觉传感器的情况下。作者的动机在于关注无结构化和非铺砌环境下的定位。作者的工作提出了一种以视觉为中心的流水线，学习空中地图和地面摄像头图像之间的相似表示，以便在地图内定位机器人。利用场景的语义和几何，作者的方法创建了一个合成鸟瞰图（BEV）表示，以调和空中图像和地面图像之间的视角差异。

作者的贡献包括一个对比学习框架，用于为航空和地面图像提供嵌入，以便用于下游匹配。作者提出了一种从粗粒度到细粒度的匹配方法，将校准估计与传感器数据融合，以便在航空图上局部化。

II Related Works

地面到空中匹配并非新任务，实际上，许多现有工作将此视为地理校正的图像检索问题。许多现有工作将跨视图定位视为地理定位的图像检索问题。这些方法展示了初步的潜力，使用生成模型在地面和空中影像之间建立桥梁，以帮助学习更健壮的特征描述符，同时利用对比学习进一步缩小领域差距[17]。其他工作主要关注跨视图对应，编码时间上的语义对应以在对比方式下训练对参考卫星影像嵌入[22]。

此外，最近的研究探讨了从地面提升传感器信息用于感知的潜力。最初的工作将多视图摄像机图像提升到共同的鸟瞰视角（BEV），同时保留摄像机和深度先验知识。通常，这些工作将视觉特征与LiDAR和/或雷达的几何特征结合，以最大限度地提高下游鸟瞰图特征映射的感知精度，这些任务包括检测和分割。值得注意的是，SimpleBEV [5] 对此进行了深入研究，分析了对感知任务影响最大的策略，突出了沿着光线使用双线性插值而不是预测单目深度先验知识的实用性。

这些方法聚焦于在机器人自身框架周围的固定三维网格上的感知，并推理物体的本地化而不是机器人本身。作者从这些工作中获得灵感，将图像特征提升到鸟瞰视角，使用车载摄像头，并依赖立体深度作为深度先验来更好地约束场景的几何结构。

最为类似的工作研究了在多视图图像的瞬间点上，利用广泛可用的公共街道地图进行3DoF定位。这些工作关注于定位的语义强度和学习深度先验神经图。他们的位姿对齐策略展示了BEV特征化及其在仅使用单一图像的3DoF视觉定位和语义映射的准确性和潜力。此外，他们还朝着创建对比学习框架的方向发展，利用位姿监督和通过RANSAC相邻策略挖掘高置信度的假阳性。此外，关注于极端困难的负样本，[18]提供了针对对比学习框架挖掘这些负样本以生成作者使用的表示的良好指导。

最后，视觉位置识别随着基础模型的出现而得到了复兴。它们在视觉位置识别方面的匹配能力已经得到证实，并在各种场景下展现出良好的效果。最近的研究表明，在真实的空中机器人平台上使用视觉位置识别，并在真实数据集上进行测试。这进一步增强了作者在真实机器人平台上集成基础模型进行匹配，以及在状态估计 Pipeline 中的信心。

III Methodology

Problem Setup

给定先验的3DoF无人驾驶地面车辆（UGV）位置，作者的方法试图仅通过视觉传感器推理全局状态估计。作者使用Tartan Drive 2.0数据集中的所有实际世界UGV数据。这包括一个Carnegie Robotics MultiSense S21传感器，具有FOV图像和深度，采样率10Hz。从这些传感器中，作者旨在创建一个合成BEV特征图，可以与裁剪的航空地图区域（编码为特征图）匹配。作者使用TartanVO[25]估计连续帧之间的局部测距（），以帮助构建机器人局部运动的时序信息表示，从而有助于构建作者的方法。最终，作者试图将地面表示与多个“航空作物”或GPS位置为中心的裁剪位置进行匹配。

这些表示， Token 为，为机器人重新定位在地图内并提供纠正机器人轨迹漂移的全球状态估计。至于假设：

作者假设传感器已校准，内在和外在参数都已知晓。

作者假设地图具有已知的分辨率和正射校正。

作者仅收到无人车辆上的纯图像，以及传感器信息。没有已知语义图像来简化学习过程。

Lifting Features from the Ground

作者的第一个主要任务是将地面上的摄像头图像提升到与空中图像的语义进行比较。图3的顶部分支展示了将摄像头图像提升到BEV特征表示的过程。在这个编码中，作者选择使用基于基础模型的ResNet-101卷积网络[6]。这是因为基础模型的步长大小为14，相对于ResNet-101，它生成的特征图分辨率较低，这可能导致关于特征的空间局部性的不确定性。反过来，作者推测，当将特征投影到特征体积时，这可能会降低特征的局部化精度。

作者选择使用对应的深度图像将2D特征图的像素置于3D特征体中，以捕捉在机器人周围离散化网格中的视觉特征。这些特征被放置在相应 Voxel 网格的坐标中， Voxel 大小为，网格大小为。从相机到网格的特征变换，然后进行特征的逆投影，接着进行特征的平移，使得机器人位于网格的中心。

该特征体积累积特征，然后使用累积求和技巧[16]对特征进行平均，以有效汇总每个 Voxel 上的特征。

接下来，作者选择在 Pillar 上应用最大池化，为给定的时间步长创建一个几何上一致的BEV特征图，并突出地图所反映的重要语义。作者选择使用时间信息，通过利用局部测距估计来构建定位特征图，并将多个图进行拼接，以获得更丰富的语义轮廓。

作者通过使用批次中最后一姿态作为参考姿态，并相对于参考姿态计算每个先验姿态。时间处的姿态计算为：

在时间步长k的最终BEV特征图包括对每个像素的特征进行组合，将它们放置到网格中，然后将网格转换以符合里程计。

最终映射按通道将每个时间步的 BEV 特征图进行拼接，以获得整个批处理大小为的更语义丰富且时间敏感的表示，用拼接运算符表示。

作者的方法类似于其他方法，将鸟瞰特征图通过BEV编码器压缩和概括每个空间单元的特征，然后通过线性层创建嵌入，该嵌入用于与航空图进行比较的代表性表示。

Encoding the Aerial Images

Iii-C1 Coarse Network

作者使用无先验旋转训练AeroBEV粗粒度网络，以获得机器人的通用定位。作者使用相关挖掘策略来帮助选择硬负样本，这在III-D2部分有更详细的讨论。AC是由将所有地图对齐单元编码为DINOv2编码器得到的。

由于作者主要捕获粗粒度特征而不是细粒度特征，DINOv2是捕获地图单元的一般语义的强大 Backbone 候选，它很可能在地图单元中的微小差异或噪声方面更不敏感。这个网络相当简单，专注于将特征图输入线性层，并通过嵌入映射每个网格单元。作者的目标是提供一个可以与近期地面图像序列进行比较的描述性嵌入。

Iii-C2 Fine Network

作者训练了一个单独的AeroBEV网络，称为AeroBEVFine，该网络使用机器人的先验旋转并将空中作物对齐到绕机器人当前位置旋转。正样本被定义为与机器人高度相关的匹配，旋转角度在度以内，距离机器人在米以内。作者设有独立的挖掘模块负责确保该网络既不是旋转不变的，也不是平移不变的。除了作者下面讨论的损失函数外，该网络与粗粒度网络相同。

由对所有机器人对齐的单元进行编码得到，这可以通过使用 DINOv2 或 ResNet-101 编码器实现。也就是说，作者使用当前的估计旋转地图并创建机器人对齐的嵌入。

这种网络架构与粗粒度网络除了使用的编码器外完全相同。作者选择使用较小的 DINO-B 编码器或 ResNet-101 编码器来减少特征的大小。值得注意的是，尽管 ResNet-101 编码器在表达场景语义方面具有优势，但作者将在 IV-C 部分更详细地讨论这一问题。

Map Matching as a Contrastive Learning Problem

给定地面图像的嵌入和围绕给定 GPS 位置（latitude, longitude）且偏航角为的农田图像的嵌入，作者的目标是使最后帧摄像图像的嵌入与给定 GPS 位置的农田图像嵌入之间的距离最小化。

Iii-D1 General Loss

作者使用一个通用的余弦损失，其间隔指定在嵌入空间中作者希望正样本和负样本之间具有的距离。

Iii-D2 Mining Negative Coarse Aerial Embeddings

作者定义了在真实GPS位置周围的地图的粗粒度问题。作者提取了一个局部地图，其大小为，并利用所有不相交的空中嵌入集合作为对比学习问题的样本。在推理过程中，这个形式稍有变化，机器人最近推理的位姿成为局部地图的中心。

作者将每个产生空中嵌入的区域定义为地面机器人局部地图的大小 . 在训练时间，作者只选择一个正样本作为机器人距离中心最近的地图单元，其余的则为负样本。

只有一个正样本时，作者旨在利用单元中的通用语义来学习粗略的局部定位预测，这些预测将在后续模块中得到细化。

在挖掘负样本时，作者以当前时间步的每个粗略嵌入为基准，通过点积找到与地面嵌入的相关性。

作者将负样本定义为具有：的任何样本。随着负样本变得越来越难挖掘，作者建立了一个额外的标准，该标准搜索前25%的假阳性相关值，并将其 Token 为负样本。因此，作者始终至少拥有当前地图细胞中的25%作为负样本。作者选择不传递所有地图细胞，以专注于学习与地面嵌入脱耦的有用区域，同时避免在容易的示例上过度拟合。

Iii-D3 Coarse Loss

作者定义了所有不相交的空中嵌入集合上的粗粒度损失，并计算它们与地面嵌入的距离。作者通过与地面嵌入的距离惩罚正样本。

同时，作者强制一个常数间隔作为负样本的目标距离，鼓励负样本尽可能远离。经验上，作者设置。

Iii-D4 Mining Negative Fine Aerial Embeddings

在细粒度问题中，作者的目标是细化粗略匹配，以获得高质量的全球化局部定位估计。作者的方法在随机方向上从均匀分布中采样偏移值样本，使得作者接近 GT 位置附近采样正负值的概率相等。作者分别处理这些样本，如果它们在阈值内，则将它们视为正样本。

同样地，作者定义大于10度的旋转为负数，并注意处理角度缠绕。为了挖掘旋转负数，作者采样个角度，并在真实位置切取它们的片，以生成对微调不变的嵌入。

Iii-D5 Fine Loss

对于细粒度损失，作者有三个独立的组成部分：

偏移损失，它惩罚附近 negatives，并通过对真实位置的物理距离成比例的高斯权重惩罚hard positives。
旋转损失，它阻止在给定位置过度旋转的航空作物。
批次内损失，它将批次中的姿态相对于最后一个姿态正负地分配给该批次中的其他姿态。

在进行细匹配时，作者希望作者的嵌入具有机器人不同旋转时的距离感。为了反映这一点，作者引入了一个损失，该损失推动具有可接受局部化但机器人头方向不准确的地图嵌入。

对于偏移空域嵌入，作者引入了额外的高斯惩罚损失，该损失会在地图内与真实位置之间的距离越远时，将样本推开。

作者使用RANSAC在真实位置周围采样一组正负样本。最终的损失计算了一种考虑了它们与真实位置的嵌入相似性以及与真实位置的物理距离的加权高斯损失。作者设置像素和。

批次内的损失检查针对距离阈值以内的样本。在作者的实验中，为3米，为1.25。

Coarse to Fine Matching

在推理阶段，作者采用启发式粗粒到细粒匹配策略来利用细粒网络。这种策略包括：

识别出与给定偏航角θ高度相关的Top 匹配，并生成局部相关体积

保留高相关估计并采用多种不同方向的空中作物以消除异常值。

为了构建Cθ，作者遍历粗匹配周围区域，对于x在[-Gx/2, Gx/2, sx]范围内，y在[-Gy/2, Gy/2, sy]范围内，寻找最高的相关性估计。作者将这些k个相关体积加权，选择将前3个粗匹配的贡献权重设置为相关体积的70％。在这里，作者的假设是在训练过程中，作者学会了降低附近位置的相关性值，并将最可能估计的值定义为具有明确峰值。然而，这很容易受到异常值的影响，因为在地图中某些区域可能与其它区域看起来非常相似。

因此，作者提出观察地图位置的多个方向，在不同的角度上寻找不同方向之间的相关性梯度。值得注意的是，作者的工作选择θ在[-20, 20, sθ]范围内，其中正θ等于0，其他方向为负。

作者使用融合后的相关图作为状态估计的测量协方差。粗细匹配中的噪声将反映在这协方差中，并通过从预测位置到 Query 位置的距离的外积以及为单元归一化的概率进行加权计算。

Pose Estimation via Non-Linear Optimization

作者采用了一个基于因子图的非线性姿态优化框架 [3]。这种方法使作者能够从多个信息流的估计中进行优化。

作者所使用的因素图旨在解决非线性最小二乘优化问题，在该问题中，作者估计从时间开始的所有姿势，并在每个关键帧处执行一次配准估计，如图4所示。

作者优化了一系列表示为：

初始位姿因子最初是接收到的最后一个GPS测量值，以便更好地约束优化。此外，作者利用在UGV上可用的传感器，利用Tartan VO[25]相对位姿因子来反映机器人的局部运动。

作者使用半开环系统，仅以0.1Hz使用GPS读数作为当前的前置估计来分析作者的系统如何处理间歇性GPS信号，否则，机器人使用先前的优化结果作为位姿估计的初始猜测。此外，只要匹配模块认为匹配不是异常值，就会使用归位估计。作者将归位估计以5Hz的速度添加到系统中。

作者使用Levenberg-Marquardt算法[14]求解优化问题。

IV Results

Dataset

在作者的所有实验中，作者使用Tartan Drive 2.0现实世界数据集[24][23]，该数据集包含超过7小时的行驶数据，包括图像、深度、RGB BEV图像、IMU数据等。图像数据采样率为10Hz，GPS为50Hz，IMU为100Hz。为了与作者的网络训练相匹配，作者对颜色图像和深度图像进行预处理以达到相同的大小和缩放内参。

同时，作者考虑不同传感器的时间同步以验证正确运行。

在作者的实验中，作者选择15条轨迹用于训练，2条用于验证，3条用于测试。为了突出作者方法的一般化能力，作者在图5中突出了训练和测试分割的轨迹。

Metrics

Iv-B1 Coarse Matching

对于粗匹配，作者分析召回率，并从最后一个估计位置周围的地图中提取一个大小为的子集，将其转换为大小为的不相交且大小相等的正方形地图单元。在作者的工作中，且。在进行此计算时，作者使用 GT GPS来准确评估粗匹配的强度。

作者将BEV局部地图大小和网格单元大小定义为相同，以简化匹配过程。作者将预测位置定义为最有可能的k个网格单元。

真阳性被定义为其中k个预测落在一个与 GT 值相同的网格单元中，而其他单元则为假阳性。作者从k=1到k=10分析这一指标的粒度。这些粗糙的匹配作为作者的局部化优化的下游先验。这一指标至关重要，因为它为机器人的定位提供了强大的先验。

Iv-B2 Fine Matching and Trajectory Error

作者在运行半开环系统中计算了RMSE匹配自 GT 位置。正如之前所述，这种半开环系统模拟了低频间歇性GPS信号。作者分析了这种间歇性GPS信号给出的相对位姿误差。这使得作者可以考虑全球状态估计的质量，以及细匹配的性能如何。

Experimental Results

对于粗略定位，作者发现使用更大的基础模型进行粗略定位可以获得显著更好的结果。作者的最佳结果是使用DINOv2-G背进行空域编码器，使用ResNet-101背进行地面编码器。从作者的结果可以看出，基础模型的更强大的语义能力反映了改进的性能，尽管ResNet特征图具有更高的分辨率。当粗略估计提供强大的先验匹配时，细匹配表现良好。正如作者所预期的，ResNet在Top 1召回率上表现最强劲，但一旦考虑更多匹配，性能会再次下降。这可能是因为ResNet具有更高的分辨率特征图，使得几何匹配更容易，但在语义匹配上表现不如其他模型。作者可以看到定位误差与给定基础模型的轨迹召回之间存在直接关联。

作者将在图III-EOverall中展示匹配结果的视觉化。在没有可靠GPS信号的情况下，作者的方法可以校正轨迹，与仅使用VO的结果相比有显著改进。尽管与参考轨迹的GPS状态估计相比，轨迹误差仍然很大，但总体上定位效果仍然良好。值得注意的是，ResNet-101模型最小化了轨迹误差和细匹配误差。这表明，对于细匹配任务，更高分辨率的特征图具有很高的价值，即使对于粗略匹配，性能可能会降低。

一种失败情况涉及将具有低协方差的全局状态估计与硬性正匹配。一个类似的道路结构在非结构化环境中的例子。此外，地图和地面图像在语义上存在差异的困难案例也是具有挑战性的。在数据中遇到的一个例子是航空图像中存在阴影，使得匹配变得极其不可能。像这样的情况表明，在系统中建立鲁棒性需要采用多模态方法。作者引入IMU数据，距离数据和额外的异常值过滤作为解决这些问题的必要步骤。作者将进一步的优化，匹配和异常值拒绝留到未来工作中进行。

V Conclusion and Future Work

在作者的工作中，作者提出了一种从视觉传感器中仅提取全球状态估计的全面框架。通过利用对比学习并采用严格的方法挖掘困难负样本，作者成功地在地面图像序列和航空地图之间学习表示。

作者设计的从粗糙到精细匹配过程利用了学习的嵌入式表示，在无结构环境中取得了有前途的结果，即使间歇性GPS信号可用。

虽然作者的方法取得了进步，但并非没有局限性。诸如光线变化、季节性变化以及地图更新等挑战仍然存在，这可能会对作者的框架的鲁棒性产生影响。尽管作者的框架已经奠定了坚实的基础，但仍有很大的改进空间。

未来的改进必须致力于增强几何约束，以提高匹配质量并减少对GPS数据的依赖。

此外，利用最先进的基于注意力的匹配或其他学习技术可以进一步提高解决方案的能力和鲁棒性。

此外，对注册状态估计的替代异常拒绝方法进行细化，并对非线性优化采用优化边缘化策略，可以增加状态估计的稳定性和鲁棒性。

通过建立在作者初步解决方案基础上并解决这些挑战，作者对未来研究的框架的有效性和适用性的重大改进潜力保持乐观。此材料基于美国陆军研究办公室和美国陆军未来指挥部在合同W911NF20-D-0002支持下进行的工作。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述