解决colab上传大文件速度慢

已于 2023-09-08 07:46:10 修改
阅读量1.9k 收藏 22
点赞数 6
文章标签： 人工智能 深度学习
于 2022-12-09 20:23:55 首次发布

解决colab上传数据集慢的问题

1、将文件先上传到OneDrive上

不建议用网页版的OneDrive，光是上传文件就贼慢贼慢（估计是文件上传和同步一起来），直接用电脑自带的OneDrive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VsAOlpy6-1646314231759)(笔记图片/image-20220303210334889.png)]

将压缩文件复制到文档这个文件夹下面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0MUloIvJ-1646314231760)(笔记图片/image-20220303210437601.png)]

接下来这个OneDrive小窗口，就会显示让你同步，速度也还行！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kzfcYiYT-1646314231760)(笔记图片/image-20220303210631827.png)]

最后利用MultCloud拓展程序，将文件从OneDrive上传到Google 云端硬盘上，直接加到Google浏览器的拓展程序就好，在应用商店下载

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OuF6I30l-1646314231761)(笔记图片/image-20220303211320001.png)]

进去之后界面是这样的，点击Add Cloud

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RweN0b2X-1646314231761)(笔记图片/image-20220303211421088.png)]

将Google Drive和OneDrive都添加进来，然后点击Cloud Transfer，左边是OneDrive的文件目录，右边是Google Drive文件目录

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3KBzEXnx-1646314231761)(笔记图片/image-20220303211518284.png)]

最后点击Transfer Now ，速度非常地块，大功造成！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4xTM63KS-1646314231761)(笔记图片/image-20220303211715831.png)]

yy_xzz
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
jupyter colab_如何将大文件上传到Google Colab和远程Jupyter笔记本
cumian8165的博客
07-23 2867
jupyter colabby Bharath Raj 巴拉斯·拉吉(Bharath Raj) 如何将大文件上传到Google Colab和远程Jupyter笔记本 (How to Upload large files to Google Colab and remote Jupyter notebooks) If you haven’t heard about it, Google Cola...
Colab：来自Google Colab的文件
02-13
合作实验室来自Google Colab的文件
Colab 快速上传数据集方法
qq_39220334的博客
12-08 8982
有时我们想要使用 Colab 训练自己的数据集（非 Colab 自带数据集）那么首先必须要上传数据集到 Colab 平台。 Colab 平台直接上传文件速度非常慢，即使你上传的是压缩后的文件。本文将介绍两种方法解决 Colab 上传数据集慢的问题。 一、谷歌云上传 1. 复制分享的谷歌云链接 Colab 可以挂载谷歌云盘，所以可以首先把要上传的文件保存到谷歌云盘中。当然，谷歌云盘的上传速度一般也很慢。此时，如果你找到了其他人通过谷歌云盘分享的文件，那么打开别人的分享链接直接星标复制即可。 以下载 Marke
快速上传数据集等文件至google colab-----解决上传colab文件慢的问题
qq_35823311的博客
02-15 3442
批量上传文件到google colab办法 快速上传数据集等文件至google colab 解决上传colab文件慢的问题 数据集进行模型训练
【Colab配置与使用】Colab挂载google云盘、上传压缩文件并解压、查看GPU、命令行使用、永久安装包
最新发布
yuuka696的博客
04-26 1002
一个colab pro（50r/月）和一个google one会员（硬盘空间不够时需要，最低充100G）执行了代码后，记下弹出的数字，那是intervalId，当想停止这段代码的执行时，只需要执行。Ctrl+Shit+i 或者 F12（查看网页源码），点击console。网址https://drive.google.com/，登录谷歌云盘。直接将压缩包拉到colab中（记得是zip格式）之前好像要授权码复制粘贴，现在可以直接登陆了。成功之后目录里有MyDrive。在修改-笔记本设置选项里。
解决Google Colab - 上传数据集慢 - pytorch读取数据慢
Void_Pointer
05-24 6005
解决Google Colab - 上传数据集慢 - pytorch读取数据慢上传数据集慢pytorch读取数据慢 上传数据集慢 许多小伙伴在白嫖GoogleColab时遇到上传数据集慢的问题，那么上传数据集慢是怎么回事呢，下面小编现在就… (不是营销号，划掉) 解决方法：先将数据集压缩打包，然后传压缩包到谷歌云端，再Colab用解压，速度可以快很多。 # 解压缩文件 # (我不会 我百度的 但是能用 嘻嘻) import zipfile file_dir = '/content/drive/My Drive
解决colab上传数据集慢的问题
AWhiteDongDong的博客
08-11 9165
因为colab是域外的服务器，所以在国内想要上传数据集，速度是非常非常的慢，因此写下自己在解决问题时的一些方法。 通过将数据集传到域外的一款软件，然后数据集传到colab 我用的方法是先将数据集传到onedrive上面（放心传数据集到onedrive上面是很快的），然后将数据集通过onedrive传到谷歌云盘，然后将谷歌云盘上的数据集传到colab上。听起来很麻烦，其实很简单。 第一步： 登录到onedrive，然后将数据集传到文档这个文件夹下面，直接拉进去就行，必须传到文档才能进行我下面的操作。 第二步
【Colab】如何将超大/超多文件上传到Colab并读取
stevenZXZ的博客
08-16 1496
用Colab做深度学习的时候需要用到一个很大的数据集，其中Annotation文件有15w+个（100+mb），图片文件有16w+个（24Gb），按照最普通的方式上传会出现文件丢失、速度慢、读取中断的问题。经过多种尝试总结出以下方法，目前可以解决部分问题，如有改进请多指点。因为我们把本来存放在一个目录下的文件放到了若干个目录下，所以如果代码中要检索文件会找不到，需要改写为遍历子目录检索。将15w+个文件分成155个目录，其中每个目录包含1000个文件，若最后剩余不足1000个放在第155个目录。
关于colab上传数据集慢的问题
01世界的博客
02-20 921
首先将自己的数据集进行压缩 压缩完之后上传到自己的OneDrive，然后共享自己的文件 复制链接到浏览器上打开（推荐使用Google浏览器） 右键下载会出现链接然后再取消 复制下载出现的链接 然后到colab执行下载，执行语句如下： !curl 链接 --output 要下载的路径 注意要下载的路径后面跟着的要是文件，不能是文件夹，如.zip文件，下载完之后再解压缩即可。 如下图是我自己下载的，比直接上传要快很多。 ...
【Google Colab】云端上传数据集慢和训练过程显存释放问题的解决
weixin_44708254的博客
02-25 2297
比如查询到PID位13975，那么下一步杀掉这个进程即可释放显存。2、训练过程终止或结束，释放显存。
斯坦福 大数据挖掘 课程笔记，作业和Colab.zip
02-10
功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可...
Torrent-to-Onedrive:使用Colab将种子下载到OneDrive
04-02
激流到单驱动器 使用colab和Rclone将种子下载到OneDrive COLAB = RCLONE CONFIG （Windows\uff09=
ColabNoteBook:KWON的Google Colab文件
04-22
您可以免费使用此文件。 早上好。 这是KWONWOOCHAN。 该存储库是我存储python讲座的地方。 想要使用这种材料的老师可以轻松地报废和使用它。 但是，请在使用时进行宣传。 类材料 大数据 变量和数组列表 运算符...
Colab
03-10
Colab
AE449:Google Colab所需的文件
04-13
AE449 Google Colab所需的文件
解决Google Colab 读取Google Drive（云盘） 文件速度慢
Kik91的博客
01-17 1590
解决Google Colab 读取Google Drive（云盘） 文件速度慢。问题描述： 使用colab的时候，当需要从云盘中读取（图片）数据时，相比于本地磁盘读取，速度非常慢。
Google Colab 训练很慢原因——驱动器读取数据集慢（已解决）
黎国溥
12-05 9341
前言 最近在使用Google Colab 训练模型，分配的是 Tesla P100-PCIE-16G 显卡；这个显卡也不是很弱啊，但在训练模型时，发现很慢。比我本地的两张1080ti显卡（合起来也是16G）慢几倍了，感到非常困惑，后来看了很多文章，发现了是谷歌网盘驱动器读取数据集慢 导致的。。。。。。 关于之前使用Google Colab（错误示范） 首先是把代码和数据集也下载放到了谷歌网盘；想着下载处理好数据集后，下次能直接训练，不用重新下载数据集和重新处理数据了。 然后是挂载谷歌网盘；Go.
Colab 传文件太慢，怎么办
薰珞婷紫小亭子的博客
04-13 1436
当今的深度学习模型，运行时间较长，占用大量的时间，有条件的实验室可以购买算力，没有条件的实验室，该怎么办呢？ 偶然间接触到Colab，发现它居然支持GPU，而且是免费使用。若花费Money开通Colab Pro账号，可以提升运行速度，但是，将本地的程序/文件上传至Colab托管平台，依舊很慢。 下面说一个可以提升传输文件的软件：Air explorer 方法 官网下载Air explorer，安装成功之后，关联自己的Google 账号，关联成功之后，打开Air explorer，直接将左侧的文件，拖拉至右
Colab 训练速度很慢
fansfi的博客
04-21 699
一轮要跑几个小时 import torch device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) cpu 原来是没用GPU 点击修改 -> 笔记本设置->硬件加速器改为GPU，保存即可
colab 打开写入文件
10-02
Colab 是一款很好用的在线学习和研究工具，它基于谷歌云平台，并且具有很多强大的功能。在 Colab 上打开并写入文件的过程有以下...Colab 的便捷性使得文件操作变得更加简单和高效，为学习和研究工作提供了很大的便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值