nuScenes数据集学习记录


说明:该博客大部分内容是参考nuScenes官网所写,点击进入nuScenes官网,博客内容仅用于学习交流,方便自己日后回顾,同时也分享给有需要的同学,希望能帮助到大家。如果大家感觉对自己有帮助,点个赞,我会继续记录分享自己的学习过程。

简单介绍

nuScenes是一个面向自动驾驶的公共大规模数据集。它为研究人员提供了一个使用真实自动驾驶汽车的全套传感器数据来研究具有挑战性的城市驾驶情况的平台。

nuScenes数据集包含了通过真实自动驾驶汽车捕获的全面传感器数据集,使研究人员能够分析和解决在城市驾驶场景中遇到的各种挑战。

nuScenes数据集涵盖了多样化的真实驾驶场景,包括复杂的道路布局、动态交通状况、各种天气条件以及与行人和骑车人的互动。它捕捉了多个传感器的数据,包括LiDAR、雷达和摄像头,提供了对环境的丰富和详细的表示。

凭借其广泛的传感器组合和大规模的覆盖范围,nuScenes数据集已成为开发和评估自动驾驶算法和系统的宝贵资源。研究人员可以利用该数据集训练机器学习模型、测试算法,并在真实驾驶场景中验证自己的方法。

通过利用nuScenes数据集,研究人员可以深入了解自动驾驶的复杂性,并努力提升自动驾驶车辆的安全性、效率和可靠性。

在这里插入图片描述
nuScenes数据集(发音为/nuːsiːnz/)是由Motional团队(前身为nuTonomy)开发的用于自动驾驶的公开大规模数据集。Motional致力于使无人驾驶汽车成为安全、可靠和可访问的现实。通过向公众发布数据集的子集,Motional旨在支持计算机视觉和自动驾驶领域的公共研究。

为此,我们在波士顿和新加坡收集了1000个驾驶场景,这两个城市以其交通密集和极具挑战性的驾驶环境而闻名。这些场景选择了持续20秒的片段,手动挑选以展示多样且有趣的驾驶操作、交通情况和意外行为。nuScenes的丰富复杂性将促进开发能够在每个场景中出现数十个物体的城市区域安全驾驶的方法。在不同大陆收集数据还允许我们研究计算机视觉算法在不同位置、天气条件、车辆类型、植被、道路标记和左右交通流的泛化性能。

为了支持常见的计算机视觉任务,例如目标检测和跟踪,我们以2Hz的频率在整个数据集上对23个对象类别进行了准确的3D边界框注释。此外,我们还对对象级别的属性(如可见性、活动和姿态)进行了注释。

2019年3月,我们发布了包含全部1,000个场景的完整nuScenes数据集。完整数据集包括约1.4百万张相机图像、390,000次LIDAR扫描、1.4百万次雷达扫描和40,000个关键帧中的1.4百万个对象边界框。其他功能(地图图层、原始传感器数据等)即将推出。我们还将在CVPR 2019的自动驾驶研讨会上组织nuScenes 3D检测挑战赛。

nuScenes数据集受到开创性的KITTI数据集的启发。nuScenes是第一个提供来自自动驾驶车辆完整传感器套件的大规模数据集(6个相机、1个LIDAR、5个雷达、GPS、IMU)。与KITTI相比,nuScenes的对象注释数量增加了7倍。

而大多数先前发布的数据集主要关注基于相机的目标检测(如Cityscapes、Mapillary Vistas、Apolloscapes、Berkeley Deep Drive),nuScenes的目标是观察整个传感器套件。

在2020年7月,我们发布了nuScenes-lidarseg。在nuScenes-lidarseg中,我们使用32种可能的语义标签(即激光雷达语义分割)对nuScenes中每个关键帧的每个激光点进行了注释。因此,nuScenes-lidarseg包含了40,000个点云和1,000个场景中14亿个注释点(其中850个场景用于训练和验证,150个场景用于测试)。

Data Collection

Scene planning

在nuScenes数据集中,我们在波士顿和新加坡收集了大约15个小时的驾驶数据。对于完整的nuScenes数据集,我们发布了波士顿Seaport以及新加坡的One North、Queenstown和Holland Village地区的数据。驾驶路线经过精心选择,以捕捉具有挑战性的场景。我们旨在获得多样化的位置、时间和天气条件。为了平衡类别频率分布,我们包括更多包含稀有类别(例如自行车)的场景。根据这些标准,我们手动选择了1000个持续20秒的场景。这些场景经过了专业人员的仔细注释。注释人员的指南可以在devkit存储库中找到。
在这里插入图片描述
在这里插入图片描述

Car setup

我们使用两辆雷诺Zoe汽车,其传感器布局完全相同,在波士顿和新加坡进行驾驶。这些数据是从一个研究平台收集的,并不能代表Motional产品中使用的配置。请参考上图以了解传感器的放置位置。我们发布以下传感器的数据:
在这里插入图片描述
在这里插入图片描述

传感器校准

为了获得高质量的多传感器数据集,必须对每个传感器的外参和内参进行校准。我们将外参坐标相对于自车坐标系进行表示,即相对于车辆后轴中点。以下是最相关的步骤:

LIDAR extrinsics:

我们使用激光线装置来精确测量激光雷达相对于自车坐标系的位置。

Camera extrinsics:

我们将一个立方体形状的校准目标放置在相机和激光雷达传感器前方。校准目标由三个正交平面组成,具有已知的图案。在检测到图案后,我们通过对齐校准目标的平面来计算相机到激光雷达的变换矩阵。根据上述计算得到的激光雷达到自车坐标系的变换,我们可以计算相机到自车坐标系的变换以及相应的外参数。

RADAR extrinsics

我们将雷达安装在水平位置上。然后通过在城市环境中驾驶来收集雷达测量数据。在对移动物体的雷达返回数据进行滤波后,我们使用一种蛮力方法来校准偏航角,以最小化对静止物体的补偿速率。

Camera intrinsic calibration

我们使用一个已知模式的标定目标板来推断相机的内部参数和畸变参数。

传感器同步

为了实现LIDAR和相机之间的良好跨模态数据对齐,我们在相机的视场中心处触发曝光,当顶部LIDAR扫过时。图像的时间戳是曝光触发时间,LIDAR扫描的时间戳是当前LIDAR帧完成完整旋转的时间。由于相机的曝光时间几乎是瞬间的,这种方法通常可以实现良好的数据对齐。请注意,相机的帧率为12Hz,而LIDAR的帧率为20Hz。这样,12个相机曝光尽可能均匀地分布在20个LIDAR扫描中,因此并非所有的LIDAR扫描都有相应的相机帧。将相机的帧率降低到12Hz有助于减少感知系统的计算、带宽和存储需求。

Privacy protection

保护第三方的隐私是我们的首要任务。为此,我们使用最先进的目标检测技术来检测车牌和人脸。我们追求高召回率,并删除与已知人物和车辆框的投影不重叠的误检结果。最终,我们使用目标检测器的输出在nuScenes图像中对人脸和车牌进行模糊处理。这样可以保护隐私信息。

Data format

本文档介绍了nuScenes中使用的数据库模式。所有的注释和元数据(包括校准、地图、车辆坐标等)都存储在一个关系型数据库中。下面列出了数据库的表格。每一行都可以通过其唯一的主键标记进行识别。外键,例如sample_token,可用于链接到样本表(sample)的标记。请参考教程以了解最重要的数据库表格的介绍。
在这里插入图片描述
在这里插入图片描述

attribute

在nuScenes数据库中,attribute(属性)是描述实例特征的属性。每个实例(如车辆、行人、自行车等)都可以具有多个属性,这些属性描述了实例的一些特征或状态。例如,一个车辆可以具有停车、静止或行驶等属性,一个自行车可以具有是否有骑手等属性。属性提供了对实例行为、状态或其他特征的描述,有助于更准确地理解和分析实例在数据集中的行为和特征。在数据库中,attribute表存储了所有实例的属性信息,每个属性被分配一个唯一的标识符(token)以便于引用和查询。

calibrated_sensor

calibrated_sensor(校准传感器)是nuScenes数据库中的一个表,用于存储传感器的校准参数。每个传感器都有其特定的校准参数,包括内部参数(如相机的焦距和畸变系数)和外部参数(如相机到车辆坐标系的变换矩阵)。校准传感器表中的每一行表示一个传感器,并包含与传感器相关的信息,例如传感器的名称、类型、校准时间戳和校准矩阵。这些校准参数对于将传感器数据与世界坐标系对齐非常重要,以便进行准确的物体检测和跟踪。

Taxonomy

在nuScenes数据库中,taxonomy(分类系统)是用于对实例进行分类的体系结构。它定义了一组不同的类别,用于将实例按照它们的类型进行分类。例如,车辆、行人、自行车等都是nuScenes中的不同类别。通过分类系统,可以将每个实例分配到特定的类别中,以便更好地理解和组织数据集中的实例。分类系统在nuScenes数据库中以taxonomy表的形式存在,每个类别都具有一个唯一的标识符(token),用于引用和查询相关的实例。

Annotation

在nuScenes数据库中,annotation(注释)是指对每个样本实例进行的详细描述和标记。注释提供了关于实例的丰富信息,例如它的边界框、类别、属性、运动状态等。每个样本都可以有一个或多个注释,每个注释都与一个特定的实例相关联。通过注释,可以准确地描述和标记每个样本中的目标物体和其属性。注释在nuScenes数据库中以annotation表的形式存在,每个注释都有一个唯一的标识符(token),用于引用和查询相关的注释信息。

Extraction

在nuScenes数据库中,extraction(提取)是指从原始传感器数据中提取出有用信息的过程。它涉及将原始数据转换为可用于分析和研究的格式。在nuScenes中,提取通常包括从传感器数据中获取图像、点云和其他感知信息,并进行校准和同步,以便创建准确的场景表示。

通过提取过程,我们可以获取每个样本的多模态数据,例如相机图像、激光雷达点云、雷达数据等。这些数据可以用于训练和评估自动驾驶系统的感知和决策模型。提取还可以包括对数据进行预处理、标注和注释,以便为后续的研究和应用提供准确和可靠的数据集。

在nuScenes中,提取过程在数据采集时由专业团队执行,并遵循严格的标准和流程。这确保了提取的数据质量和一致性,使研究者和开发者能够使用准确和可靠的数据进行相关研究和开发工作。

ego_pose

在nuScenes数据库中,“ego_pose”(自车姿态)是指在特定时间戳下相对于日志地图的全局坐标系的自车姿态信息。这些姿态信息是通过我们论文中描述的基于激光雷达地图的定位算法得出的。该定位算法是在x-y平面上进行的二维定位。

在nuScenes数据库中,“ego_pose”(自车姿态)是一个重要的注释类别,用于描述自动驾驶车辆的姿态和位置信息。ego_pose注释提供了关于自车在世界坐标系中的运动状态的详细信息。

具体而言,ego_pose注释包括了自车的位置、朝向和速度等关键参数。位置表示自车在世界坐标系中的三维坐标,朝向表示自车的朝向角度,速度表示自车的线性速度。这些参数可以帮助系统确定自车在场景中的位置和移动方向,为感知和决策提供重要的输入。

ego_pose注释的时间戳与其他注释和数据项进行关联,以确保在相应时间点上准确反映自车的姿态。这使得可以对自车的运动进行精确的跟踪和分析,从而更好地理解场景中的交通动态和自车的行为。

通过ego_pose注释,研究人员和开发人员可以获取自车在不同时间点上的姿态和运动信息,用于自动驾驶系统的路径规划、场景建模、控制策略等方面的开发和优化。

总之,ego_pose注释在nuScenes数据库中提供了自动驾驶车辆的姿态和位置信息,帮助研究人员和开发人员深入理解自车的运动特征,并支持自动驾驶系统的相关应用和算法开发。

visibility

在nuScenes数据库中,“visibility”(可见性)指的是在所有6个图像中可见的标注部分所占的比例。可见性被分成了4个区间:0-40%、40-60%、60-80%和80-100%。

可见性是用于描述每个实例在数据集图像中的可见程度的属性。它表示了实例在图像中可见的程度,即实例在所有6个图像中可见的部分与其总体标注的比例。根据可见性的分布,可以将实例分成不同的可见性类别,即将实例分为可见度较低、中等、较高和完全可见的四个区间。

这个可见性信息对于研究目标检测和视觉感知算法的性能评估非常有用。通过分析实例的可见性分布,可以了解算法在不同可见性条件下的表现,并评估算法在处理部分可见或完全可见实例时的准确性和鲁棒性。同时,可见性信息也可以用于数据筛选和预处理,例如选择可见性较高的实例用于训练和评估模型。

总之,在nuScenes数据库中,可见性是指标注实例在所有6个图像中可见的部分所占比例,并根据可见性的范围将实例分为不同的可见性类别。这一属性提供了有关实例在数据集图像中可见程度的重要信息,对于研究和评估目标检测和视觉感知算法的性能具有重要意义。

scene

在nuScenes数据库中,一个"scene"(场景)指的是从一个记录中提取的连续帧的20秒长序列。多个场景可以来自同一个记录。需要注意的是,跨场景的对象身份(实例标识符)不会被保留。

每个场景由一系列连续的帧组成,这些帧按照时间顺序提取自记录。每个帧都包含了在该时间段内感知到的场景信息,例如车辆、行人、道路标记等。场景的长度为20秒,这个时间段足够捕捉到许多不同的驾驶场景和交通情况。

需要注意的是,场景之间的对象身份是不连续的,也就是说在不同的场景中,相同的对象可能会被重新标识为不同的实例。这是由于在不同的场景中,相同的对象可能会发生位置、姿态或可见性的变化,因此在场景之间无法保持对象的持续标识。

理解场景的概念对于在nuScenes数据库中进行数据分析和处理非常重要。通过将数据分割成场景,可以更好地理解和研究不同时间段内的驾驶情况和交通行为。每个场景都可以视为一个独立的时间段,可以独立进行分析和处理。

sample_data

在nuScenes数据库中,“sample_data”(样本数据)指的是传感器数据,例如图像、点云或雷达反射数据。每个样本数据与一个具体的样本相关联,用于表示在该样本采集时刻感知到的传感器数据。

对于is_key_frame=True的样本数据,其时间戳应该非常接近它所指向的样本。这表示该样本数据是与该样本同时或几乎同时采集的数据。关键帧通常用于表示在时间序列中重要的时间点,例如特定事件发生或重要动作发生的时间。

对于非关键帧的样本数据,其指向最接近时间的后续样本。这意味着该样本数据表示的是接下来时间段内采集的数据。非关键帧样本数据可以用于捕捉样本之间的时间连续性,并提供连续时间段内的传感器观测数据。

样本数据的类型可以是图像、点云或雷达反射数据,具体取决于不同的传感器。每个样本数据都有其自己的时间戳,用于表示数据采集的时间点。通过样本数据,可以在不同时间点上对驾驶场景进行观测和分析,从而了解不同时间段内的环境和交通情况。

Data annotation

在收集驾驶数据之后,我们以2Hz的频率对图像、激光雷达和雷达的关键帧进行同步采样,并将它们发送给我们的注释合作伙伴Scale进行注释。通过专业的注释员和多个验证步骤,我们实现了高度准确的注释。nuScenes数据集中的所有物体都具有语义类别,并且每个出现的帧都带有三维边界框和属性。与二维边界框相比,这使我们能够准确推断物体在空间中的位置和方向。

我们为23个物体类别提供了地面真值标签。有关每个类别的详细定义和示例图像,请参阅注释员指南。对于完整的nuScenes数据集,我们为以下类别提供了注释(不包括测试集):

对于nuScenes-lidarseg,我们对激光雷达点云中的每个点进行语义标注。除了nuScenes的23个前景类别(物体)之外,我们还包括了9个背景类别(场景)。有关每个类别的详细定义和示例图像,请参阅nuScenes和nuScenes-lidarseg的注释员指南。我们为以下类别提供了注释(不包括测试集):

在这里插入图片描述
此外,nuScenes中的某些类别具有特殊属性:
在这里插入图片描述

Tutorials

我们在devkit中提供了一些nuScenes的教程,以交互式的Jupyter Notebook形式呈现。这些教程在这里以静态页面的形式展示,供不想下载数据集的用户使用。这些教程涵盖了nuScenes、nuScenes-lidarseg、地图和CAN总线扩展以及预测挑战的基本使用方法。请使用下拉菜单选择您要查看的教程。
或者,您也可以在Colab上交互地运行这些教程。这一部分可以去nuScenes看。

Panoptic

在最初的nuScenes发布中,使用边界框或立方体来表示3D物体。虽然在许多情况下很有用,但是立方体无法捕捉关节物体的细微形状细节。全景式nuScenes通过包含nuScenes数据集中的40,000个关键帧中每个激光雷达点的注释,具有更高的细粒度水平。令人惊讶的是,每个点都注释了语义标签、实例标签和跟踪标签,总共达到了14亿个激光雷达点。

语义标签可以是32个类别之一。除了nuScenes中的23个前景类别(物体)之外,我们还包括了9个背景类别(物体)。有关每个类别的详细定义和示例图像,请参阅此处和此处的注释器说明。

全景式nuScenes的分类与nuScenes和nuImages的其余部分兼容,从而可以在多个传感器模态之间进行广泛的研究。这对于工业界和学术界来说是一大步,因为它使研究人员能够研究和量化诸如激光雷达点云分割、前景提取、传感器校准和使用点级语义进行映射等新问题。在未来,我们计划组织各种公开挑战来解决这些任务。

全景式nuScenes是站在巨人的肩膀上。学术界的SemanticKITTI数据集使用激光雷达分割标签对著名的KITTI数据集进行注释,涵盖了28个类别。KITTI主要包括低交通密度的郊区街道和不太具有挑战性的交通情况。它的注释仅涵盖前置摄像头,而不是整个360度视野。此外,它不包含雷达数据,且严格限制为非商业用途。nuScenes旨在改善这些方面,提供了来自新加坡和波士顿的城市和郊区场景的密集数据。它是一个多模态数据集,涵盖了整个360度视野,并可以通过商业许可授权给商业实体。在全景式nuScenes的推出之后(其激光雷达语义分割注释最初于2019年10月作为nuScenes-lidarseg发布),我们看到了其他许多激光雷达分割数据集的出现,如Hesai的Pandaset,我们期待更多公司与社区共享他们的数据。

与nuScenes一样,全景式nuScenes的注释可供免费使用,且仅限于非商业目的使用。非商业使用指的是不主要用于或针对商业利益或货币补偿的用途。非商业使用的示例包括但不限于个人使用、教育使用(例如在学校、学院、大学等)、某些研究使用等。如果您打算将nuScenes数据集用于商业目的,我们鼓励您通过发送电子邮件至nuScenes@motional.com与我们联系以了解商业许可选项。

Downloads

以下是nuScenes数据集的不同版本发布。您必须是注册用户才能查看和下载它们。有关如何设置和使用这些数据的说明,请参阅nuScenes开发工具包。以下文件可供下载:

nuScenes-panoptic

nuScenes-panoptic数据集是nuScenes数据集的一个发布版本,为nuScenes数据集中的每个激光雷达点提供了标注信息。该数据集包含了1,400,000,000个激光雷达点的语义标签、实例标签和轨迹标签。该数据集具有更高的细粒度,使研究人员能够研究和量化激光雷达点云分割、前景提取、传感器校准和基于点级语义的地图构建等各种任务。

要访问和下载nuScenes-panoptic数据集,您需要成为注册用户。请参考nuScenes devkit中的说明,了解如何设置和有效利用该数据集。

在2021年7月,我们发布了nuScenes-panoptic数据集。nuScenes-panoptic将nuScenes和nuScenes-lidarseg数据集结合起来,创建了全景标注。每个激光雷达点都有语义标签和实例ID。我们还提供了一个测试集,用于挑战任务,该测试集不包含任何标注信息。

nuScenes-lidarseg

nuScenes-lidarseg是nuScenes数据集的一个扩展,它提供了基于激光雷达数据的语义分割标注。在nuScenes-lidarseg中,每个激光雷达点都被标注了一个语义类别的标签,用于表示该点所属的物体类别或场景元素。

与传统的目标检测或边界框标注不同,nuScenes-lidarseg的语义分割标注提供了对激光雷达点级别的细粒度信息,可以更精确地描述场景中的物体和环境。这些标注可以用于许多任务,如语义分割算法的训练和评估,环境感知和场景理解等。

您可以使用nuScenes-lidarseg数据集来研究和开发激光雷达数据的语义分割算法,并在实际场景中进行测试和验证。nuScenes-lidarseg数据集提供了丰富的标注信息和配套的开发工具包,以帮助您有效地处理和分析数据,并进行相关的研究工作。

在2020年8月,我们发布了nuScenes-lidarseg数据集。在nuScenes-lidarseg中,对于nuScenes数据集中的每个关键帧中的激光雷达点云中的每个点,我们使用32个可能的语义标签之一进行标注。因此,nuScenes-lidarseg包含了110亿个标注点,在34000个点云和850个场景中进行了标注(其中700个场景用于训练,150个场景用于验证)。我们还提供了一个测试集(150个场景中的6008个点云),该测试集用于挑战赛,不附带激光雷达语义分割标签。

通过安装nuScenes-lidarseg,您可以使用该数据集进行激光雷达的语义分割研究和开发。nuScenes-lidarseg数据集包含丰富的标注信息,并提供相应的安装指南和开发工具,以帮助您有效地使用和处理数据,并进行相关的研究工作。

CAN bus expansion

CAN bus expansion(CAN总线扩展)是nuScenes数据集的一个组成部分。CAN(Controller Area Network)总线是一种常用于车辆和其他设备之间进行通信的串行通信协议。在nuScenes中,CAN总线扩展提供了与车辆CAN总线系统相关的数据,以增强数据集的信息丰富度。

通过CAN总线扩展,您可以获得与车辆相关的传感器数据和控制信息,如车速、转向角度、加速度、制动状态等。这些数据对于理解车辆的行为和环境感知非常重要,可以用于研究自动驾驶算法、车辆控制系统以及行为预测等方面。

在nuScenes数据集中,CAN总线扩展的数据以二进制格式存储,并提供了相应的解析工具和接口,以帮助您读取和处理这些数据。通过使用CAN总线扩展,您可以获得更全面的车辆信息,从而更好地理解场景和分析车辆行为。

请注意,使用CAN总线扩展需要适当的硬件和软件支持,以便连接到车辆的CAN总线系统并获取数据。在使用CAN总线扩展时,请遵循相应的安全规范和操作指南,确保安全和正确地获取数据。

在2020年2月,我们发布了CAN总线扩展(CAN bus expansion)。该扩展提供了有关车辆的低级别数据,包括车辆的路线、惯性测量单元(IMU)、姿态、转向角反馈、电池状态、制动系统、档位位置、信号灯、轮速、油门、扭矩、太阳能传感器、里程计等等。

通过安装CAN总线扩展,您可以获取更详细和全面的车辆数据,这对于研究和开发自动驾驶系统、车辆控制算法以及其他与车辆相关的应用非常有价值。

安装CAN总线扩展需要按照相应的说明进行操作。请参考提供的安装说明,以了解如何将CAN总线扩展集成到您的系统中,并开始获取车辆的CAN总线数据。请确保按照说明进行正确安装和配置,并遵循相关的安全规定和操作指南,以确保数据的正确获取和安全使用。

通过使用CAN总线扩展,您可以进一步扩展和丰富nuScenes数据集,以便更好地理解和分析车辆的行为和性能。

Map expansion

在nuScenes的地图扩展(Map expansion)中,我们提供了详细的地理信息和道路网络数据,以增强对场景环境的理解和建模能力。地图扩展包括以下内容:

地图数据:提供高精度的地图数据,包括道路几何信息、车道线、交通信号灯、交通标志等。这些数据可以用于场景建模、路径规划、车道线跟踪等应用。

地图坐标系:定义了地图数据的坐标系和参考框架,使得在不同数据源之间进行准确的对齐和配准成为可能。

通过使用地图扩展,您可以将nuScenes数据集与现实世界中的地理环境进行对应和匹配,从而更好地理解车辆行驶的上下文和场景。这对于开发和评估自动驾驶系统、路径规划算法以及其他与地理信息相关的应用非常有帮助。

要使用地图扩展,您需要按照相应的安装和配置说明进行操作。请参考提供的文档,了解如何下载、安装和使用地图数据,并将其集成到您的nuScenes数据集中。

地图扩展为研究人员和开发人员提供了更丰富和全面的环境信息,有助于推动自动驾驶技术的发展和应用。请确保遵循相关的使用规定和授权要求,以确保合法使用地图数据。

在2019年7月,我们发布了地图扩展包(Map expansion pack),其中包含了11个语义层(包括人行横道、人行道、交通信号灯、停止线、车道等)。通过安装地图扩展包,您可以获得更多的语义信息,以增强对场景环境的理解和分析能力。

地图扩展包提供了语义地图的矢量格式,包括了不同的语义层,这些地图数据可以在数据集的各个分组(mini、trainval、test)中使用。此外,还提供了语义先验地图(可行驶路面+人行道)和激光雷达底图的位图。

安装地图扩展包,请按照提供的说明进行操作。请参考相关页面获取更多有关地图扩展包的信息,了解不同版本之间的区别和特点。

语义地图的引入为研究人员和开发人员提供了更全面和详细的环境信息,有助于进行场景分析、路径规划、语义分割等任务。请确保遵守相关的使用规定和授权要求,以确保合法使用地图扩展数据。

Full dataset (v1.0)

nuScenes Full Dataset (v1.0)是nuScenes的完整数据集,它包含了来自多个传感器的大量数据和丰富的注释信息。该数据集旨在支持自动驾驶系统的研发和算法的评估。

nuScenes Full Dataset (v1.0)的主要特点包括:

多模态数据:包括图像、激光雷达点云和雷达数据等多种传感器数据,提供了丰富的环境感知信息。

大规模场景:数据集中包含了超过1,000个场景,涵盖了城市和郊区等不同场景,可以用于测试和评估各种自动驾驶场景下的算法性能。

注释信息:每个场景中的关键帧都提供了详细的注释信息,包括物体的类别、边界框、姿态、属性等,以及道路标记、车道线等语义信息,有助于算法的训练和评估。

标定和地图数据:数据集中还提供了车辆的标定信息,以及地图数据用于环境建模和路径规划。

开放许可:nuScenes Full Dataset (v1.0)是免费提供给非商业用户使用的,但对于商业用途需要进行商业许可。

在2019年3月,我们发布了包含1000个场景的完整nuScenes数据集。由于数据集的巨大大小,我们将其分为迷你、训练验证和测试集。迷你数据集(10个场景)是训练验证集的一个子集,用于在无需下载整个数据集的情况下探索数据。训练验证集(700+150个场景)被打包成10个不同的存档文件,每个存档文件包含85个场景。测试集(150个场景)用于挑战赛,并不包含对象注释。此外,您还可以选择仅下载特定的传感器模态(相机、激光雷达、雷达)或仅关键帧。元数据是单独提供的,其中包括注释、自车姿态、标定、地图和日志信息。

如果您对nuScenes数据集感兴趣,并希望使用它进行研究或开发,请访问相关网站以了解如何获取和下载数据集。请注意,由于数据集的规模较大,下载和处理数据可能需要一定的时间和计算资源。

Teaser dataset (v0.1) – Deprecated

v0.1的Teaser数据集已不再使用,请注意此版本已过时。该数据集是nuScenes的早期版本,包含了较少数量的场景和数据。我们建议您使用最新版本的nuScenes数据集,以获得更全面和详细的数据。

Code

您可以在nuScenes数据集的GitHub存储库中找到相应的开发工具包。该存储库包含了与nuScenes数据集相关的代码、工具和示例,可帮助您使用和处理该数据集。您可以访问该存储库并按照相关说明进行安装和使用。
nuScenes devkit github链接,点击进入

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
nuscenes数据集 devkit是为了帮助研究者和开发者更好地利用nuscenes数据集而开发的一套工具和库。nuscenes数据集是一个广泛使用的自动驾驶领域的开源数据集,其中包含了来自于纽约和新加坡的高质量传感器数据和注释。它提供了一个丰富的环境来进行自动驾驶相关的研究和开发。 nuscenes数据集devkit提供了一系列功能来处理、分析和可视化nuscenes数据集。它包括了Python API,可以用于读取和解析nuscenes数据集,提取有用的信息。研究者和开发者可以使用这些功能来快速访问和处理数据,为他们的研究和开发工作节省了大量的时间和精力。 除了数据处理外,nuscenes数据集devkit还包括了一些强大的视觉化工具。它提供了一个交互式的图形界面,可以用于可视化和浏览nuscenes数据集中的传感器数据、注释和场景信息。这对于研究者和开发者来说非常有用,可以帮助他们更好地理解数据,分析结果,并进行模型评估和验证。 此外,nuscenes数据集devkit还提供了一些实用的功能,如路线规划、物体检测和跟踪等。这些功能可以帮助研究者和开发者进行高级驾驶场景的仿真和测试,以及开发自动驾驶系统的算法和模型。 综上所述,nuscenes数据集devkit是一个强大的工具和库,它为研究者和开发者提供了便捷的数据处理、分析和可视化功能,帮助他们更好地利用nuscenes数据集进行自动驾驶相关的研究和开发工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值