5. 常用开源数据集快速导入(解压到)Linux服务器(AutoDL)——深度学习·科研实践·从0到1

目录

1. 查找公开数据

2. 解压到自己的数据盘中

3. 解压常用指令

---

1. 查找公开数据

参考文档：AutoDL帮助文档-公开数据查找和导入

• AutoDL提供了部分常用开源数据，供咱在实例中进行使用，免去下载上传的烦恼（直接解压到咱的服务器文件夹很方便）
• 在控制台中找到公开数据菜单：

• 搜索数据集的名称，如果找到的话则进行下一步：
• 复制数据在实例中的路径，然后在您的实例中找到该数据集

• 在实例中找到该数据集

• 数据集位置更新啦，和文档中不太一样，咱到这里复制“路径”

注意：

• 这里复制出来的是autodl-pub/ImageNet/ILSVRC2012，cd 的时候还得在前面加上/root/

• 然后解压到自己的数据盘中（/root/autodl-tmp）

2. 解压到自己的数据盘中

 注意以上截图中的解压命令unzip仅适用zip压缩包，如果是其他压缩包请用相应命令解压。可以参考：AutoDL-Linux解压命令 （3. 解压常用指令 部分的内容就来自这里）

以下是本人的实际操作（拿nuScenes作为范例，#后的是本人输入的内容）：

(base) root@autodl-container-df76488929-662125ae:~# ls /root/autodl-pub/nuScenes/Fulldatasetv1.0/Trainval
v1.0-trainval01_blobs.tgz  v1.0-trainval04_blobs.tgz  v1.0-trainval07_blobs.tgz  v1.0-trainval10_blobs.tgz
v1.0-trainval02_blobs.tgz  v1.0-trainval05_blobs.tgz  v1.0-trainval08_blobs.tgz  v1.0-trainval_meta.tgz
v1.0-trainval03_blobs.tgz  v1.0-trainval06_blobs.tgz  v1.0-trainval09_blobs.tgz
(base) root@autodl-container-df76488929-662125ae:~# cd autodl-tmp/code/OpenOccupancy/data/nuscenes
(base) root@autodl-container-df76488929-662125ae:~/autodl-tmp/code/OpenOccupancy/data/nuscenes# ls
maps  samples  sweeps  v1.0-trainval
(base) root@autodl-container-df76488929-662125ae:~/autodl-tmp/code/OpenOccupancy/data/nuscenes# tar xzf /root/autodl-pub/nuScenes/Fulldatasetv1.0/Trainval/v1.0-trainval01_blobs.tgz

3. 解压常用指令

命令：zip、unzip、tar

zip和unzip分别正对与zip的压缩包压缩和解压，tar是Linux另外一种更通用的压缩解压工具

# zip和unzip。如果没有zip请使用apt-get update && apt-get install -y zip安装
user@host:/tmp/$ zip -r dir.zip test_directory/   # 将test_directory文件夹压缩为dir.zip文件
user@host:/tmp/$ unzip dir.zip   # 将dir.zip文件解压

# tar. 以下参数c代表压缩，x表示解压，z代表压缩/解压为gz格式的压缩包
user@host:/tmp/$ tar czf dir.tar.gz test_directory/   # 将test_directory文件夹压缩为dir.tar.gz文件
user@host:/tmp/$ tar xzf dir.tar.gz   # 将dir.tar.gz文件解压

# tar还可以用于压缩和解压其他格式的压缩文件，比如bz2
user@host:/tmp/$ tar cjf dir.tar.bz2 test_directory/   # 将test_directory文件夹压缩为dir.tar.bz2文件
user@host:/tmp/$ tar xjf dir.tar.bz2   # 将dir.tar.bz2文件解压