RELLIS-3D数据集

RELLIS-3D数据集

（略读）

paper RELLIS-3D Dataset: Data, Benchmarks and Analysis

论文地址：https://arxiv.org/abs/2011.12954

github：https://github.com/unmannedlab/RELLIS-3D

论文提供了一个野外场景的数据集，包含有激光雷达数据，摄像头数据

摘要

语义场景理解对于鲁棒和安全的自主导航至关重要，尤其是在越野环境中。三维语义分割的最新深度学习进展在很大程度上依赖于大型训练数据集，然而现有的自治数据集要么代表城市环境，要么缺乏多模式越野数据。我们用RELLIS-3D填补了这一空白，RELLIS-3D是一个在越野环境中收集的多模式数据集，包含13556个激光雷达扫描和6235个图像的注释。这些数据是在德克萨斯A&M大学的雷利斯校区收集的，对现有的算法提出了挑战，这些算法与班级不平衡和环境地形有关。此外，我们还评估了该数据集上最新的深度学习语义分割模型。实验结果表明，RELLIS-3D对城市环境中的分割算法提出了挑战。这个新的数据集提供了研究人员继续开发更先进的算法和研究新的研究方向以增强越野环境中的自主导航所需的资源。RELLIS-3D可从以下网址获得：

https://github.com/unmannedlab/RELLIS-3D

介绍 INTRODUCTION

仅依赖激光雷达和惯性导航系统（INS）的自主导航系统在越野环境中表现不佳[1]、[2]、[3]。这些系统利用几何信息，但缺乏对环境更高层次的语义理解，从而使路径规划和导航更高效。例如，激光雷达将灌木丛识别为障碍物，但对于较大的平台，环境的这些部分实际上可能是可穿越的。语义意识的重要性导致了视觉感知系统的出现，这些系统直接向导航系统提供信息，以补充深度传感器[1]、[4]、[5]、[6]、[7]。激光雷达提供高度精确的3D信息，不受光照变化的影响，并添加反射信息以唯一地描述对象表面，而相机提供密集的颜色和纹理信息以获得细粒度语义信息。

利用这些领域[1]、[8]、[9]、[10]、[11]、[12]、[13]中的大量大规模数据集，室内和城市场景的语义分割取得了巨大的进步。与城市道路场景和室内环境相比，越野环境具有非结构化的类边界、不平的地形、强烈的纹理和不规则的特征，这些特征妨碍了模型在不同类型环境之间的直接传输。此外，在不同的越野环境中，等级分布也存在很大差异。尽管有一些越野数据集可用[1]、[14]、[15]，但自主导航研究界仍然缺乏一个多模态数据集，其中包含大量地面真实值注释，用于在越野环境中开发可靠的自主机器人系统。
为了满足在越野环境中推进自主导航对多模式数据资源的需求，我们介绍了RELLIS-3D，一种从Clearpath Robotics Warthog平台捕获的新型数据集（如图1所示）。所有数据都记录在德克萨斯A&M大学雷利斯校区的地面研究设施中，这是一个越野环境，包括不同的跑道、停机坪、地形、林地、灌木丛、牧场和湖泊。
RELLIS-3D数据集由大量与精密时间协议（PTP）同步的原始传感器数据组成，包括彩色摄像机图像、激光扫描、高精度全球定位测量、来自组合全球定位和惯性导航系统（GPS/INS）的惯性测量，以及来自3D立体相机的深度图像。通过包含完整的原始自主数据集，我们有助于开发和测试其他算法，例如融合视觉和惯性/深度数据的算法，而无需任何新的数据收集。

除了原始传感器数据外，RELLIS-3D还将发布激光雷达扫描和RGB相机图像子集的地面实况注释。据作者所知，RELLIS-3D代表了第五个具有同步原始传感器数据和大量地面实况注释的多模式越野导航数据集。该数据集的主要贡献总结如下：*•*我们发布了五个在越野环境中以机器人操作系统（ROS）包格式捕获的同步传感器数据序列，包括RGB摄像机图像、激光雷达点云、一对立体图像、高精度GPS测量、，和IMU数据。
*•*在收集的五个数据序列中，我们为13556个完整的激光雷达点云扫描提供了6235个像素级图像注释和语义标签。
*•*我们通过定义训练、验证和测试分割来建立基准，并使用最先进的图像和点云语义分割算法进行初步分析。这些结果证明了越野数据语义分割的挑战，并有助于确定RELLIS 3D可以帮助推进的开放研究领域。

A.传感器我们的传感器设置如图1所示，包括：

•1×Ouster OS1激光雷达：64个通道，2048个水平分辨率，10 Hz，45◦ 垂直视野

•1×Velodyne Ultra Puck:32通道，10hz，40◦ 垂直视野

•1×Nerian Karmin2+Nerian场景扫描：3D立体摄像机，10 hz

•1×RGB摄像机：Basler ACA120-50gc摄像机，带16mm/F18埃德蒙光学镜头，图像分辨率1920x1200，10 hz

•惯性导航系统（GPS/IMU）：矢量导航VN300双天线GNSS/INS，300 hz GPS，100 hz IMU以及传感器套件，我们的Warthog平台有两台计算机。导航计算机负责机器人控制，而视觉计算机则负责数据采集和传感器处理。这两台计算机通过以太网连接进行通信，并使用PTP进行同步。两台计算机都运行Ubuntu Linux（64位）和ROS Kinetic来收集传入的数据流。

B.同步我们使用PTP在整个计算机和传感器网络中同步传感器。视觉计算机与导航计算机、驱逐雷达、立体摄像机和RGB摄像机同步。不幸的是，GPS/IMU系统无法与PTP同步，但是GPS/IMU系统提供100 Hz的更新。
在这种情况下，我们通过选择GPS/IMU信息来完成同步，该信息的时间戳与LiDAR最接近，并且针对特定帧选择相机时间戳。

数据集 dataset

A.数据描述

RELLIS-3D包括五个sequences，收集于德克萨斯A&M大学RELLIS校区地面研究设施的三条非铺砌小路上。

在第一条被灌木丛和稀疏树木覆盖的小径上记录了三个序列。这些序列在机器人在轨迹上移动的方向以及数据收集的日期上有所不同。另一个序列捕捉到了第二条经过牧场和森林地区的小路的环境。最后一个序列记录在一座被湖泊和公路环绕的小山上。这些序列是通过遥控机器人跟踪轨迹来收集的，每个序列包含大约五分钟的数据。
为了提供多模式数据以增强自主越野导航，我们定义了一个对象和地形类的本体，该本体主要源自RUGD数据集[14]，但也包括RUGD中不存在的独特地形和对象类。具体来说，该数据集中的序列包括泥浆、人造屏障和碎石桩等类别。此外，该数据集还为水源（即水坑和深水）提供了更细粒度的类结构，因为这两个类为大多数机器人平台提供了不同的可遍历性场景。总的来说，数据中有20个等级（包括无效等级）。完整的本体可以在图2中看到。

B Annotations标注

像素级图像标注由Appen公司提供，该公司利用众包技术进行培训数据标注，用于各种AI/ML任务。为了确保注释的一致性，将工作分配给经过培训的注释员，并将单个视频序列中的一系列帧分配给单个注释员。众包平台的注释也经过了几轮内部验证，以纠正缺失、不正确或不一致的标签。我们将摄像机流的采样频率降低到5Hz，以进行地面真实性标记，并且不复制机器人静止时的注释，从而产生总共6235张带有像素注释的图像。
三维点云的逐点注释通过使用相机激光雷达校准来初始化，以将超过6000个图像注释投影到点云上。使用SemanticKITTI[23]提供的3D点云注释应用程序，为多个重叠激光雷达扫描重新定义注释。激光雷达扫描对准对于获得高质量的注释至关重要，尽管我们的系统具有高度精确的惯性导航系统，但仍然存在地图不一致的情况。
为了解决这个问题，我们首先使用SLAM系统[29]闭环输出序列，并根据SLAM结果输出每个扫描的位置。使用此过程，13556次扫描收到完整的逐点注释，其中每次扫描最多包含13056个点。

C.数据集统计图3和图4分别显示了图像和点云注释的类别分布细分。两种模式之间的阶级分布高度不平衡。
对于图像注释，天空、草、树和灌木丛占标记像素总数的94%。在激光雷达数据中，草、树和灌木占点标签总数的80%。分辨率、视角和传感器机制的差异导致图像和点云数据之间标签分布的差异。例如，由于传感器机制，激光雷达无法探测天空，但因为激光雷达具有360度◦ 视角它比图像拾取更多的人物标签，因为人类操作员通常在数据采集过程中跟随机器人。
RELLIS-3D中存在的非均匀类分布在用于语义分割的数据集中很常见[8]、[18]、[23]。此外，类不平衡是感知算法在部署时会遇到的问题。尽管目前几乎所有可用的城市数据集中都存在不平衡的类别分布，但不同城市数据集中的总体类别分布非常相似[23]，[18]。然而，越野环境中的类别不平衡高度依赖于特定环境，并且数据集中的类别不平衡更为严重，使得稀有类别的语义分割比城市环境更具挑战性。

五、BENCHMARKS、评价指标和实验

A.语义分割的评估指标

我们使用广泛使用的联合平均交集（mIoU）指标[30]评估算法性能，

B.图像语义分割