目录
waymo数据集
waymo提供了两种数据集,motion与perception两种,其中motion是鸟瞰图,官网中有介绍,主要用于轨迹预测之类的任务,perception主要用于目标检测跟踪之类的任务,是第一视角,有相机和雷达信息。
perception主要用于目标检测跟踪之类的任务,是第一视角,有相机和雷达信息,并且在github上有公开的读取数据方法,另外,在读取perception数据时需要安装waymo-open-dataset-tf这个库,安装不上请用清华源,具体请按照官方quick_start教程,另外github有许多已经集成许多功能的代码,搜索waymo就有。
quick_start:
waymo-open-dataset/quick_start.md at master · waymo-research/waymo-open-dataset · GitHub
原文链接:https://blog.csdn.net/AmbitiomGuo/article/details/123300393
百度网盘下载,
自己注册一下,国内用户借助科学上网可以下载,但是下载速度很慢,
下载了一部分数据,百度网盘分享出来,可以免费下载
通过百度网盘分享的文件:waymo
链接:https://pan.baidu.com/s/1ctG1tA1D9POudptWD4Av7w
提取码:6881
--来自百度网盘超级会员V6的分享
gsutil下载数据集
gsutil -m cp -r "gs://waymo_open_dataset_v_1_3_0/" .
waymo转coco格式:
Waymo数据集下载与使用_51CTO博客_waymo 数据集
在实验中,并不需要将所有的数据集,因此博主只下载了train_0000.tar文件,该数据集也达到近23G。
tar文件展示:
里面的内容是tensorflow读取格式的文件。
如果觉得23个G下载起来太过费时,也可以选择下载单个文件。
https://github.com/erksch/waymo-open-dataset-viewer/tree/master
依赖项:
# 安装 tensorflow (需要注意tensorflow与cuda版本对应,我这里使用cuda 11.0版本)
pip install tensorflow==2.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
#安装 pytorch (pytorch-lightning 是否安装自行选择)
pip install pytorch-lightning==1.4.0
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
# 测试gpu是否可用(返回 gpu 信息和 True 则表示安装正确)
python
>>> import tensorflow as tf
>>> tf.config.list_physical_devices('GPU')
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
>>> import torch
>>> torch.cuda.is_available()
True
>>> quit()
# 安装 waymo-open-dataset 需要与tensorflow版本对应
pip install waymo-open-dataset-tf-2-4-0
waymo-open-dataset 没找到,pypi有安装包,只支持linux 系统。
可视化参考:
https://blog.csdn.net/weixin_50232758/article/details/132260047
- 数据集官网:https://waymo.com/open/
- 数据集开发工具包:https://github.com/waymo-research/waymo-open-dataset
(依靠数据集开发工具包,可以了解标签的更多信息,并可以使用 Python 阅读标签,可视化点云) - 官方下载地址:https://waymo.com/open/download/
https://github.com/waymo-research/waymo-open-dataset/tree/master/docs
数据处理waymo-open-dataset-tf
pip install waymo-open-dataset-tf-2-12-0==1.6.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
数据类型格式说明
数据协议中文注释:
https://zhuanlan.zhihu.com/p/419503684
如果 label.type 等于 label_pb2.Label.Type.TYPE_VEHICLE:
obj_class = "vehicle" # 物体类别为“车辆”
elif label.type 等于 label_pb2.Label.Type.TYPE_PEDESTRIAN:
obj_class = "pedestrian" # 物体类别为“行人”
elif label.type 等于 label_pb2.Label.Type.TYPE_SIGN:
obj_class = "sign" # 物体类别为“交通标志”
elif label.type 等于 label_pb2.Label.Type.TYPE_CYCLIST:
obj_class = "cyclist" # 物体类别为“骑车人”
else:
obj_class = "misc" # 物体类别为“杂项”
nuScenes数据集
相关资料:
还记录了雷达数据。这个数据集由1000个场景组成(即scenes,这就是该数据集名字的由来),每个scenes长度为20秒,包含了各种各样的情景。在每一个scenes中,有40个关键帧(key frames),也就是每秒钟有2个关键帧,其他的帧为sweeps。关键帧经过手工的标注,每一帧中都有了若干个annotation,标注的形式为bounding box。不仅标注了大小、范围、还有类别、可见程度等等。这个数据集不久前发布了一个teaser版本(包含100个scenes),正式版(1000个scenes)的数据要2019年发布。这个数据集在sample的数量上、标注的形式上都非常好,记录了车的自身运动轨迹(相对于全局坐标),包含了非常多的传感器,可以用来实现更加智慧的识别算法和感知融合算法。
我需要包含毫米波雷达/激光雷达/摄像头的数据集,所以需要在数据集的选择上选取包含这三类传感器的数据集,故选择了nuscenes数据集。
百度网盘下载
如果只是想要用mini数据集的话,可以直接官网下载,我当时记得大概只花了两个小时不到。这里网盘只提供完整数据集下载。
链接:https://pan.baidu.com/s/1cKyOHlIeuLROr1fkrREWzA
提取码:2510
原文链接:https://blog.csdn.net/weixin_62497890/article/details/131288914
3d室内数据集 scanent
RGB-D数据集
深度学习(1)RGB-D数据集:ScanNet_rgbd数据集-CSDN博客
SemanticKitti
上面和左边是原始数据集,下面和右边是加入语义标签后的可视化数据集效果。代码链接如下:
链接:https://pan.baidu.com/s/1NlfHSpPLoj04hwXRKQ5QvA
提取码:fnjx
根据requirements.txt文件安装所需安装包,再按照里面readme.md文件把数据集放入相应文件夹运行即可。
数据集官网地址
www.semantic-kitti.org
数据集网盘链接
官网共有三个文件夹,分别是data_odometry_velodyme,data_odometry_calib,和data_odometry_labels,文件较大80G左右,建议存入硬盘。
链接:https://pan.baidu.com/s/1nCNiCFrGoxz7OIxpZWbsZw
提取码:1iv2
共00-21个序列场景,提供00文件夹的完整数据集:
链接:https://pan.baidu.com/s/1eLqvrazKdzs-pTjn2saYHA
提取码:ruig
原文链接:https://blog.csdn.net/Zeal510/article/details/121602764