kitti深度估计数据集介绍

最新推荐文章于 2025-03-14 19:53:32 发布

tangjunjun-owen

最新推荐文章于 2025-03-14 19:53:32 发布

阅读量4.6k

点赞数 35

分类专栏：深度估计文章标签： KITTI 深度估计

本文链接：https://blog.csdn.net/weixin_38252409/article/details/141712394

版权

文章目录

前言
一、kitti官网数据集介绍
二、同步与校准文件解读(synced+rectified data)
三、标定文件(calibration)

前言

最近，我也开始做深度估计模型，该内容属于CV另一个领域，我使用depth anythingv2实现深度估计内容。然而kitti数据一直都是3d重要内容，作者收集了长达6个小时的真实交通环境，数据集由经过校正和同步的图像、雷达扫描、高精度的GPS信息和IMU加速信息等多种模态的信息组成。作者还在数据集官网提供了光流、物体检测、深度估计等多种任务的Benchmark。本篇介绍KITTI深度数据内容。

一、kitti官网数据集介绍

1、通用内容

别人已经介绍很多，我不在介绍了，给出一些别人介绍的链接，如下：
https://www.cnblogs.com/llfctt/p/9317653.html
https://blog.csdn.net/weixin_44764524/article/details/112711666

当然，我这里给出kitti数据采集感受器布置方式，如下图：
在这里插入图片描述
而我们重点要关注的是相机2与3，都是彩色相机，如上图。

2、深度图内容

可以看到官网深度图在raw data内容，这里面包含了深度图内容，如下：
在这里插入图片描述

第一部分内容解读

我们对其翻译如下：

此页面包含我们的原始数据记录，按类别分类（请参阅上方菜单）。到目前为止，我们只包含了那些拥有3D物体标签的序列或出现在我们的里程计基准训练集中的序列。该数据集包含了以下信息，以每秒10Hz的频率捕获并同步：

- 原始（未同步+未校正）和处理过的（同步+校正）灰度立体图像序列（0.5兆像素，存储为png格式）
- 原始（未同步+未校正）和处理过的（同步+校正）彩色立体图像序列（0.5兆像素，存储为png格式）
- 三维Velodyne点云（每帧10万个点，存储为二进制浮点矩阵）
- 三维GPS/IMU数据（位置、速度、加速度、元信息，存储为文本文件）
- 校准信息（相机、相机到GPS/IMU、相机到Velodyne，存储为文本文件）
- 三维物体轨迹标签（汽车、卡车、有轨电车、行人、骑自行车者，存储为xml文件）

这里，“未同步+未校正”指的是原始输入帧，在这些帧中，图像存在畸变且帧索引并不对应；而“同步+校正”则指的是经过处理的数据，在这些数据中，图像已经被校正和去畸变，并且所有传感器流的数据帧编号都相对应。对于这两种设置，均提供了带有时间戳的文件。大多数人只需要“同步+校正”版本的文件。

更多关于传感器、数据格式以及校准的详细信息可以在以下链接找到：

- 我们的IJRR数据论文预印版
- 下载原始数据开发包（1MB）
- 下载原始数据集下载脚本（1MB）（感谢Omid Hosseini分享！）
- 下载Velodyne校准文件（1MB）（感谢Sascha Wirges分享！）
- Vipin Sharma撰写了一份指南，帮助更好地理解KITTI传感器坐标系统
- Mark Muth编写了一个基于QT的可视化工具，用于点云和轨迹序列
- Yani Ioannou（多伦多大学）收集了一些使用PCL处理KITTI原始数据的工具
- Christian Herdtweck（图宾根马普所）编写了一个Python解析器，用于读取物体标签XML文件
- Lee Clement和他的团队（多伦多大学）编写了一些Python工具，用于加载和解析KITTI原始数据和里程计数据集
- Tomáš Krejčí创建了一个简单的工具，用于将原始KITTI数据集转换为ROS包文件：kitti2bag
- Helen Oleynikova创建了几个使用ROS处理KITTI原始数据集的工具：kitti_to_rosbag
- Mennatullah Siam创建了KITTI MoSeg数据集，其中包含移动物体检测的真实标注
- Hazem Rashed扩展了KITTI MoSeg数据集10倍，提供了移动物体检测的真实标注。该数据集包含12919张图像，并在项目网站上提供
- Jack Borer编写了一个针对KITTI数据集中激光雷达扫描的运动补偿库

请注意：我们未能对所有序列进行标注，仅提供了通过第三阶段人工验证的那些轨迹标注，即那些质量非常高的标注。对于有轨迹标注可用的序列，您会在下载类别中找到[轨迹]链接。