我们在租用AutoDL时难免会上传一些数据集,当数据集的容量较大时,采用AutoDL官方文档提供的操作,发现上传速度非常慢,这就导致我们会白白浪费云服务器资源,所以,作者在经过几次试错后发现如下解决方法,可以解决这个问题,在很大程度上提升了文件传输的速度。
首先,我们先将要上传的数据集文件进行压缩(作者压缩的格式为:.zar格式,其他格式也行,只不过在后面解压的过程中,程序稍有不同),在按照官方文档的操作方法,将压缩包下载到实例中,下面为官方文档的地址链接:
https://www.autodl.com/docs/netdisk/
下载好后,如下图所示:
接下来我们在系统盘下新建一个python文件,作者命名为jieya.py,如下图:
输入以下程序:
import zipfile
f = zipfile.ZipFile("autodl-tmp/training.zip",'r') # 压缩文件在jupyter中的位置(注意区分是本地路径还是远程服务器路径)
for file in f.namelist():
f.extract(file,"autodl-tmp") # 解压到的位置
f.close()
最后在终端输入:
python jieya.py
这样数据集就下载到实例中了。
注:作者亲测下载压缩包时速度非常快(2.9G的压缩包,三分钟下载完成,解压不超过两分钟),但下载整个数据集文件夹时非常慢(3.2G的文件耗时近三个小时),而且可能存在上传不完整的情况,但也不排除,有人非常顺利就能下载整个文件夹的情况,所以,此篇文章是为了给在按照官方操作文档进行下载,速度较慢时的另一种解决方案,缺点是步骤稍微繁琐一点。