我们通常选用服务器进行深度学习的数据训练,这是因为远程服务器有更高性能的GPU,本文介绍如何在远程服务器上下载image-net数据。
首先连接上VPN(我是学生党需要连接校园VPN才行),然后在需要保存数据的data文件夹创建一个名为imagenetdata的文件夹(名称可自定义),然后创建一个.sh文件,命名为down.sh,以记事本的形式打开down.sh,输入以下内容并保存:
wget - p imagenetdata https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar --no-check-certificate
wget - p imagenetdata https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar --no-check-certificate
其中wget
是一个在命令行中常用的下载工具,-p
选项用于下载文件时保持文件的完整路径结构,后面是一个下载数据的URL,需要下载其他数据时候更换对应的URL网址即可。
我们目前在data的文件夹下的文件有:
然后我们进入服务器的终端,使用cd进入到data文件夹下,然后输入命令bash down.sh即可下载。
但是当校园网断开或者断开VPN时下载会中断,我们可以使用以下命令:
nohup bash -u down.sh>run.log 2>&1
这样,下载进程将会保存到run.log文件,然后我们可以关闭VPN连接,做其他事情,等待下载完毕即可。