解决Google Colab 读取Google Drive(云盘) 文件速度慢

在Colaboratory(Colab)中,从云盘读取大量图片数据时速度较慢。为解决此问题,文章提出了两种方法。首选方法是将文件压缩后上传,然后在Colabnotebook中使用ZipFile模块快速解压。另一种方法是直接复制文件到运行时环境,但可能耗时较长。这两种方法旨在优化云盘文件的读取效率。
摘要由CSDN通过智能技术生成

问题描述

使用colab的时候,当需要从云盘中读取(图片)数据时,相比于本地磁盘读取,速度非常慢。

猜测可能是文件数量过多时,请求和获取数据占据了很多时间。

解决方法

方法一(个人推荐)

上传文件到云盘时只需要上传文件的压缩包,然后在colab notebook 里进行解压使用。这样不仅节省了文件上传时间,而且在colab notebook上直接解压速度也非常快。代码如下:

import zipfile

with zipfile.ZipFile("需要读取的文件在云盘中位置", 'r') as zip_ref:
    zip_ref.extractall("/content/") # 我使用的解压位置

方法二

把云盘中需要的文件,直接复制到运行时的环境里。这个复制过程会take some time,我感觉没有第一个方法快捷,方便。

import shutil
# # 把olddir拷贝一份newdir
shutil.copytree('需要读取的文件在云盘中位置', 'HCII23_Figcon')

解决问题了的话,欢迎点赞,关注,评论。

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值