在我们进行计算机任务时,由于训练时间长,我们经常需要同时在几个服务器上跑代码。这时,我们很可能为了图方便,将一台服务器上的文件全部下载下来传到另一条服务器上。这种下载后传送的方式对于文字类的文件是合适的,而对于我们计算机视觉任务要使用的数据集,这种方式很可能会报这个错:
这是什么原因呢?在用下载后再传送的方式时,你会发现服务器上下载文件到本地速度会很快,将其传到目标服务器的速度亦然,比你将数据集从你的电脑上传到服务器上快得多。这是因为服务器上的文件下载到本地后会进行压缩,这时再传送到目标服务器上时后原先代码不能处理这些被压缩后的图片。
然而,修改代码过于费劲,解决这个问题的最好方法就是:在传送数据集的时侯,不能图方便快速在两个服务器之间传送数据集,而是尽量从自己的电脑上传送数据集到服务器,这样就不会报这个错。