ubuntu20.04 批量下载 NuScenes V1.0 full 数据集

该文档主要记录在ubuntu20.04环境下批量下载、解压NuScenes V1.0数据集。

1、下载数据集

官方下载地址：

https://www.nuscenes.org/download

下拉到最后，找到Full dataset (v1.0)， 其中包括mini、trainval、test三个单元。

选中一个part中的Asia，可以发现默认在浏览器中进行下载。用浏览器下载存在一些问题，例如因为网络不稳定问题可能会中断，中断后重新下载可能会破坏文件整体性。因此，用wget下载是一个较好的方式。

在下载目录下，新建dataset.sh文件，在文件中输入以下内容：

wget -c -O v1.0-test_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-test_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=bsJo0hJiVTHn0M72IXePmd5A30c%3D&Expires=1655603056"
wget -c -O v1.0-trainval04_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval04_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=qgIW5Oj9xMcF7QairVxmP255Ad8%3D&Expires=1655173919"
wget -c -O v1.0-trainval05_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval05_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=kE6zkqDfuNGfTZ%2BceV8lb04%2F9sw%3D&Expires=1655173942"
wget -c -O v1.0-trainval06_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval06_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=s80aLKcfEv04NsR40ggqhyc7RJk%3D&Expires=1655173967"
wget -c -O v1.0-trainval07_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval07_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=OpndPNvJNgbDyRs%2BvjBsrjWlUYM%3D&Expires=1655173989"
wget -c -O v1.0-trainval08_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval08_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=uTdY%2BuR%2FNSZCrzuuWSYjd0HZcxA%3D&Expires=1655174009"
wget -c -O v1.0-trainval09_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval09_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=9gYVfXC%2FBQ4LQygGlZOrZBfjKm4%3D&Expires=1655174030"
wget -c -O v1.0-trainval10_blobs.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval10_blobs.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=TzviSeY5WiMm7lvGo5qVL98afNI%3D&Expires=1655174046"

其中，各个blobs的下载地址可通过在浏览器中复制下载地址来获得。

然后打开新的终端，在终端中运行指令：

sh dataset.sh

若下载过程中网络中断，重新运行指令即可。

2、校验、解压数据集

 当全部数据集下载完毕后，首先对数据集是否完整进行校验，校验指令：

md5sum v1.0-trainval03_blobs.tgz 

将得到的结果与官网上的md5进行对比，若一致则证明下载的数据集完整可用。

 

需要对数据集进行解压，解压指令如下：

tar -zvxf v1.0-trainval03_blobs.tgz -C /media/robot/MyPassport/DataSet/nusense/

对每个tgz文件分别进行解压，最后的目录如下图所示。