VSLAM-TartanAir数据集介绍

最新推荐文章于 2024-05-31 08:38:53 发布

huarzail

最新推荐文章于 2024-05-31 08:38:53 发布

阅读量1k

点赞数 1

分类专栏： VSLAM 文章标签：人工智能计算机视觉数码相机

本文链接：https://blog.csdn.net/huarzail/article/details/130903513

版权

VSLAM 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

官方链接：https://theairlab.org/tartanair-dataset/

一、简介

TartanAir，用于机器人导航任务以及其他任务。这些数据是在逼真的模拟环境中收集的，考虑了各种光照条件、天气和移动物体的存在。通过在模拟环境中收集数据，能够获得多模态传感器数据和精确的地面真值标签，包括立体RGB图像、深度图像、分割图、光流、相机位姿和LiDAR点云。

设置了大量具有不同风格和场景的环境，涵盖了具有挑战性的视点和多样的运动模式，这些是通过使用物理数据收集平台很难实现的。为了实现如此大规模的数据收集，作者开发了一个自动化流程，包括地图构建、轨迹采样、数据处理和数据验证。我们使用我们的数据评估了各种因素对视觉SLAM算法的影响。

最先进算法的结果表明，视觉SLAM问题远未解决，在更困难的场景中，那些在已有数据集（如KITTI）上表现良好的方法效果并不好。尽管作者使用了模拟环境，但其的目标是通过提供一个具有挑战性的基准来测试新方法，并为基于学习的方法提供大规模多样化的训练数据，从而推动视觉SLAM算法在真实世界中的发展限制。

二、Download

TartanAir数据集发布在Azure Open Dataset platform。

样本轨迹可以在下表中分别下载。

序号	名称	翻译	样例
1	abandonedfactory	废弃工厂
2	abandonedfactory_night	废弃工厂(晚上)
3	amusement	娱乐
4	carwelding	雕刻
5	endofworld	科幻（世界末日）
6	gascola	天气
7	japanesealley	日本小巷
8	neighborhood	邻居
9	ocean	海洋
10	office	办公室
11	seasidetown	海边小镇
12	hospital	医院
13	seasonsforest	森林天气
14	seasonsforest_winter	森林天气（冬天）
15	soulcity	灵魂城市
16	westerndesert	西方沙漠

三、The mission(目的)

同时定位与建图（SLAM）是机器人所需的最基本能力之一。由于图像的广泛可用性，视觉SLAM（V-SLAM）已成为许多自主系统的重要组成部分。在几何方法和基于学习的方法方面已取得了令人瞩目的进展。然而，为实际应用开发稳健可靠的SLAM方法仍然是一个具有挑战性的问题。

现实环境中充满了诸如光照变化或缺乏照明、动态物体和无纹理场景等困难情况。目前流行的基准数据集（如KITTI、TUM RGB-D SLAM数据集和EuRoC MAV）相对于真实世界情况下的场景和运动模式来说，覆盖范围较有限。

作者使用逼真的仿真环境收集了一个大型数据集。通过利用大量具有不同风格和多样化场景的环境，尽量缩小仿真与真实之间的差距。该数据集特别关注具有光照变化、恶劣天气和动态物体的具有挑战性的环境。目前最先进的SLAM算法在我们的数据集中跟踪相机姿态时面临困难，并且在某些具有挑战性的序列上经常迷失。作者提出了一种评估算法鲁棒性的指标。此外，作者还开发了一个自动化数据采集流水线，可以在最小的人工干预下处理更多的环境。

我们数据集的四个最重要的特点是：

大规模多样化逼真的数据
多模态的地面真实标签
多样化的运动模式
具有挑战性的场景

四、Dataset features(数据集特点)

(1) Simulated scenes(合成场景）

在虚幻引擎中采用了30个逼真的仿真环境。这些环境提供了广泛的场景，涵盖了许多有趣但具有挑战性的情况。仿真场景包括：室内和室外场景，具有详细的3D对象。

拥有多个房间、装饰精美的室内环境。对于室外仿真，有各种建筑物、树木、地形和风景。特殊用途设施和普通家庭场景。乡村和城市场景。现实生活和科幻场景。

(2) Challenging visual effects(具有挑战性的视觉效果)

项目模拟了多种具有挑战性的视觉效果。

光照条件：白天和夜晚交替，低光照，光照快速变化。

天气效果：晴天、下雨、下雪、刮风和雾。

季节变化：春、夏、秋、冬。

(3) Diverse ego motions(多样化的运动)

在每个仿真环境中，通过跟随多条路线并进行不同程度的运动来收集数据。虚拟相机可以缓慢平稳地移动，没有突然的抖动动作。或者它可以具有强烈而激烈的动作，伴随着明显的滚动和偏航运动。

(4) Multimodal ground truth lab(多模态的真实标签 )

多模态的真实标签通过发挥Unreal Engine和AirSim的强大功能，我们可以提取各种类型的真实标签，包括深度、语义分割标签和相机姿态。

从提取的原始数据中，我们进一步计算其他真实标签，如光流、立体视差、模拟多线激光点和模拟IMU读数。

(5) Data acquisition pipeline（数据采集流程）

开发了一个高度自动化的数据采集流程，以便于数据获取。对于每个环境，我们通过增量建图构建一个占用地图。在地图的基础上，我们为虚拟相机采样一系列轨迹进行跟随。一组虚拟相机按照轨迹进行跟随，从Unreal Engine和AirSim中捕获原始数据。原始数据经过处理生成光流、立体视差、模拟激光点和模拟IMU读数等标签。数据验证。验证数据的同步性和派生标签的准确性。