条条大路通罗马！ICRA'24 VBR：专为视觉里程计和SLAM的新基准-CSDN博客

点击下方卡片，关注“3D视觉之心”公众号

论文作者 | 3D视觉之心

编辑 | 自动驾驶之心

数据集“明星”之殇

早期当特定任务的ground truth数据可获取时，计算机视觉社区设计了适当的度量标准来评估其算法结果的准确性。尽管KITTI数据集的优点无可争议，但随着传感器显着改进和发展，开始逐渐显示出他的岁月痕迹，计算设备和GT系统也是如此。许多数据集的主要缺点也许在于：

位置GT受到限制，纯粹基于RTK-GPS和IMU，并且存在同步问题
主要针对的是自动驾驶，因此数据仅涵盖类似道路的场景。

KITTI数据集的优势在于提供不同的基准（如视觉里程计、光流、立体匹配和物体检测）。然而，其存在IMU读数和图像之间的同步问题，视觉里程计的GT数据仅通过融合RTK GPS接收器和IMU生成，并且用于录制数据的硬件现在已经过时。

与VBR的真值轨迹对比

KITTI的LiDAR投影图像有许多孔洞

牛津机器人车是另一个值得关注的车辆数据集。与KITTI不同，它以数据序列中最长的特点脱颖而出。然而，牛津机器人车数据集中的GT数据仅依赖于部分GPS和INS数据，这使得用于SLAM和定位方法准确性基准的基线不可靠。此外，像Mulran这样的方法使用相同的GT数据生成过程，导致了相同的问题。

（大拇指往上滑，点击最上方的卡片关注我，整个操作只会花你 1.328 秒，然后带走未来、所有、免费的干货，万一有内容对您有帮助呢～）也可以加小助手，拉你进讨论群

罗马数据集能提供什么？

VBR是一个涵盖各种环境的多样化和异构数据集，适应各种机器人平台，包括四足动物、四旋翼飞行器和自动驾驶车辆，使其成为机器人社区的多功能资源。VBR保持硬件同步以确保数据的准确性和可靠性，并采用基线宽的立体相机来捕获稳健的视觉信息，此外还提供了即使在大规模场景中也能提供准确的6自由度GT值。

数据集链接：www.rvp-group.net/datasets/slam

VBR的传感器包含：3D激光雷达、具有大基线的立体摄像头、RTK-GPS和惯性传感器。覆盖了罗马一些最具特色的区域，包括城市、森林和室内场景，涵盖了40公里左右的轨迹，录制时间近4小时。数据集的原始数据约为2TB。作者提供了两种不同版本的数据集：

带有GT数据的训练版本
不提供GT数据的基准版本

VBR的采集设备

数据选择

VBR 提供了6个数据集，分为不同的序列。其中，有4个数据集是通过手持设备进行步行采集的，而另外2个是通过汽车采集的。每个序列都是在不同的环境中收集的，具有不同的挑战场景，如动态环境、交通环境、长时间序列和广阔区域。表III总结了一些序列的参数，并提供了一些示例。

主要内容为：

西班牙广场：这个序列是在西班牙广场及附近街道上采集的。它包括几个大型循环，上下楼梯，因此轨迹是非平面的。狭窄的街道限制了LiDAR的视场范围，但建筑立面是丰富的结构来源。
罗马斗兽场：包括围绕着斗兽场和君士坦丁凯旋门的两个循环。LiDAR的范围并不总是足够捕捉垂直结构。在某些情况下，传感器的最大范围不足以测量整个周围环境，而环境是重复的，使得一些区域对状态估计而言较困难。
平奇奥公园：在维拉·博尔赫塞收集了几个循环。这个数据集以丰富的植被和重复的环境为特点。
DIAG：这个序列是一个混合的室内/室外数据集。我们在建筑内外行走，穿过走廊，穿过庭院，上楼梯，到达唯一能接收到RTK-GPS信号的屋顶。
校园：与所有其他序列相比，这个序列是在罗马大学主校区使用配备的汽车采集的，包括几个循环，几乎横跨了所有可由汽车通行的街道。有几个狭窄的通道和一些通过建筑物底下的隧道。动态主要由行走的人组成，占录制数据的低比例。
齐安皮诺：这些序列是在齐安皮诺城市记录的。这是迄今为止最长的序列：总轨迹长度约为21公里，同时受到适度动态的影响。

benchmark

总结

VBR是一个新的视觉和感知数据集，专门针对SLAM和里程计估计方法。其序列涵盖了不同的环境，并以手持和汽车方式获取。与现有数据集相比，VBR的序列提供了多种环境。此外还提出了一种新颖的GT估计方法，将RTK-GPS与LiDAR Bundle Adjustment模式融合。

参考

[1] VBR: A Vision Benchmark in Rome

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频