使用脚本批量下载nuscens数据集

Nuscenes 完整版数据集批量下载

需求： 高速下载Nuscenes完整版数据集。采用google浏览器自带工具下载，速度慢，且容易断。

1. 数据地址
   官方地址：https://www.nuscenes.org/nuscenes

如何获取 Nuscenes 数据集的路径

安装插件

chrono

复制网址

选择要下载的文件夹，新建脚本dataset.sh，内容如下，主要格式为：wget -c -O [数据集名字] [网页下载链接]。

wget -c -O v1.0-trainval01_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval01_blobs.tgz"
wget -c -O v1.0-trainval02_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval02_blobs.tgz"
wget -c -O v1.0-trainval03_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval03_blobs.tgz"
wget -c -O v1.0-trainval04_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval04_blobs.tgz"
wget -c -O v1.0-trainval05_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval05_blobs.tgz"
wget -c -O v1.0-trainval06_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval06_blobs.tgz"
wget -c -O v1.0-trainval07_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval07_blobs.tgz"
wget -c -O v1.0-trainval08_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval08_blobs.tgz"
wget -c -O v1.0-trainval09_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval09_blobs.tgz"
wget -c -O v1.0-trainval10_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval0_blobs.tgz"
wget -c -O v1.0_meta.tgz "https://d36yt3mvayqw5m.cloudfront.net/public/v1.0/v1.0-trainval_meta.tgz"
wget -c -O v1.0-test_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-test_blobs.tgz"
wget -c -O v1.0-test_meta.tgz "https://d36yt3mvayqw5m.cloudfront.net/public/v1.0/v1.0-test_meta.tgz"

创建 Nuscenes data文件夹和vim 写代码

mkdir Nuscenes
cd Nuscenes
vim datadowload.sh
#按i后，将上面的代码复制到里面 按 esc
#按 :wq 保存更改并推出vim书写模型
bash dataload.sh # 实行脚本

注意：如果中途断掉，重新执行脚本即可。

开始下载

检验

md5sum v1.0-trainval07_blobs.tgz

这行代码使用的是 md5sum 命令，它是一个在Unix和类Unix操作系统中常见的命令行工具，用于计算和校验文件的MD5（Message-Digest Algorithm 5）哈希值。MD5是一种广泛使用的加密哈希函数，可以产生一个128位（16字节）的哈希值（通常作为32位十六进制数字表示），用于确保文件的完整性。

具体来说，这行代码的作用是：

md5sum：调用md5sum程序。
v1.0-trainval07_blobs.tgz：指定要计算MD5哈希值的文件名。
执行这条命令后，系统会读取 v1.0-trainval07_blobs.tgz 文件的内容，计算其MD5哈希值，然后将这个哈希值和文件名一同输出到标准输出（通常是终端或控制台）。这个哈希值可以用于后续检查文件是否在传输或存储过程中被篡改。

例如，输出可能看起来像这样：

e4d909c290d0fb1ca068ffaddf22cbd0  v1.0-trainval07_blobs.tgz

这里，e4d909c290d0fb1ca068ffaddf22cbd0 就是文件 v1.0-trainval07_blobs.tgz 的MD5哈希值。通过比较不同时间点或不同来源的同一文件的MD5哈希值，可以检查文件是否保持不变

这里是2024/03/11的网址，可能会改变，按照上面的方法来更改路径即可

解压 Nuscenes 的文件和删除原来的压缩文件的代码 sh文件如下

tar -zvxf v1.0-trainval01_blobs.tgz && rm v1.0-trainval01_blobs.tgz
tar -zvxf v1.0-trainval02_blobs.tgz && rm v1.0-trainval02_blobs.tgz
tar -zvxf v1.0-trainval03_blobs.tgz && rm v1.0-trainval03_blobs.tgz
tar -zvxf v1.0-trainval04_blobs.tgz && rm v1.0-trainval04_blobs.tgz
tar -zvxf v1.0-trainval05_blobs.tgz && rm v1.0-trainval05_blobs.tgz
tar -zvxf v1.0-trainval06_blobs.tgz && rm v1.0-trainval06_blobs.tgz
tar -zvxf v1.0-trainval07_blobs.tgz && rm v1.0-trainval07_blobs.tgz
tar -zvxf v1.0-trainval08_blobs.tgz && rm v1.0-trainval08_blobs.tgz
tar -zvxf v1.0-trainval09_blobs.tgz && rm v1.0-trainval09_blobs.tgz
tar -zvxf v1.0-trainval10_blobs.tgz && rm v1.0-trainval10_blobs.tgz
tar -zvxf v1.0-trainval_meta.tgz && rm v1.0-trainval_meta.tgz
tar -zvxf v1.0-test_blobs.tgz && rm v1.0-test_blobs.tgz
tar -zvxf v1.0-test_meta.tar && rm v1.0-test_meta.tar
#lidarseg
#tar -xf nuScenes-lidarseg-all-v1.0.tar && rm nuScenes-lidarseg-all-v1.0.tar

参考