解决CoLab上传数据集失败或速度慢的问题

已于 2022-02-17 18:49:04 修改
阅读量3k 收藏 8
点赞数
分类专栏： 环境模块安装 文章标签： google cloud
于 2022-02-17 18:44:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RinaWong/article/details/122989595
版权
  1. 上传数据集到OneDrive上(实测接近700M的文件上传速度会有点慢，不过比在CoLab上强多了)
  2. 右键单击数据集选择下载，然后暂停下载(若想下载就不用暂停)，然后复制下载链接地址
    下载文件.jpg
    复制链接地址.jpg
  3. 在CoLab中下载数据集并上传到Google Drive上(实测下载速度超快，接近700M的文件30秒就下载好了)

--output用来将下载数据写入到指定路径的指定名称的文件中，--progress用来显示进度条

!curl 复制的链接地址 \
--output 下载文件到Google Drive的路径 --progress

下载文件到Google Drive.jpg

竹霖聴雨
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
GPT(3.5和4.0)微调入门和实战，源码数据集实战案例
04-11
课程内容： 资料 001-第一节:课程简介,mp4 002-第二节:环境和数据准备.mp4 003-第三节:Colab环境下的微调,mp4 004-第四节:python本地微调.mp4 005-第五节:Playground测试.mp4 006-第六节:微调能用来做啥,mp4 007-微调实战-1:训练能绘图的模型,mp4 008-微调实战-2.指定输出格式和字段的微调.mp4
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
03-27
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
使用GRU进行天气变化的时间序列预测和天气时间序列数据集
03-04
在Google Colab平台上，利用pytorch来编写的，使用门控循环单元（GRU）进行天气变化的时间序列预测。GRU是一种特殊的循环神经网络（RNN），被设计来处理序列数据，如时间序列数据，通过捕捉序列中的时间动态特征来进行预测或分类。数据文档是一个天气时间序列数据集，它由德国耶拿的马克思 • 普朗克生物地球化学研究所的气象站记录。在这个数据集中，每 10 分钟记录 14 个不同的量（比如气温、气压、湿度、风向等），其中包含2009-2016多年的记录。
YOLOv5船舶检测训练权重+代码+VOC船舶检测数据集
12-14
1、YOLOv5船舶检测训练权重 ，附有各种训练曲线图，可使用tensorboard打开训练日志, 2、classes: boat; 3、包括船舶检测数据集，标签格式为VOC和YOLO两种
Datasets:Google Colab课程中使用的数据集
03-19
数据集 Google Colab课程中使用的数据集
解决colab上传大文件速度慢
yy_xzz的博客
12-09 1872
使用ondrive上传...
Colab 快速上传数据集方法
qq_39220334的博客
12-08 8620
有时我们想要使用 Colab 训练自己的数据集（非 Colab 自带数据集）那么首先必须要上传数据集到 Colab 平台。 Colab 平台直接上传文件速度非常慢，即使你上传的是压缩后的文件。本文将介绍两种方法解决 Colab 上传数据集慢的问题。 一、谷歌云上传 1. 复制分享的谷歌云链接 Colab 可以挂载谷歌云盘，所以可以首先把要上传的文件保存到谷歌云盘中。当然，谷歌云盘的上传速度一般也很慢。此时，如果你找到了其他人通过谷歌云盘分享的文件，那么打开别人的分享链接直接星标复制即可。 以下载 Marke
【Google Colab】云端上传数据集慢和训练过程显存释放问题的解决
weixin_44708254的博客
02-25 2154
比如查询到PID位13975，那么下一步杀掉这个进程即可释放显存。2、训练过程终止或结束，释放显存。
Colab使用经验总结(踩坑经验）------小白注意！
qq_45543238的博客
03-21 1061
2. 尝试multcloud通过onedrive与谷歌硬盘云传输，但是文件夹不在onedrive中，导致同步到onedrive时间很长很长，直接弃了（我不知道怎么同步onedrive......）可能是自己使用时间太长了，也可能是谷歌那边资源紧张了，看别的帖子还有人说好久都不能使用(一个月那种)。总之：尽量用到GPU的时候再选择GPU运行时，不用的时候切换到“None”!有博主说长时间不用gpu的情况下也会被限额，因此训练完及时断开和GPU的连接。1. 博主尝试不压缩直接上传文件夹，结果是浏览器直接卡住。
关于colab上传数据集慢的问题
01世界的博客
02-20 900
首先将自己的数据集进行压缩 压缩完之后上传到自己的OneDrive，然后共享自己的文件 复制链接到浏览器上打开（推荐使用Google浏览器） 右键下载会出现链接然后再取消 复制下载出现的链接 然后到colab执行下载，执行语句如下： !curl 链接 --output 要下载的路径 注意要下载的路径后面跟着的要是文件，不能是文件夹，如.zip文件，下载完之后再解压缩即可。 如下图是我自己下载的，比直接上传要快很多。 ...
PyTorch版YOLOv4训练自己的数据集—基于Google Colab
12-20
colab简介 Google Colaboratory是谷歌开放的一款研究工具，主要用于机器学习的开发和研究。 工具优势：Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用。你可以在上面轻松地跑例如：Keras、Tensorflow、Pytorch等框架；其次是入门相对简单，语法和cmd语句以及linux语句相似。目前colab平台GPU的状态信息如下图： 原创文章 3获赞 2访问量 186 关注
手上一块GPU都没有，怎么做深度学习？
最新发布
qq_38598778的博客
03-06 740
首先声明，我并不是该厂的水军，也是在跑程序的过程中，发现这个平台很好用，遂与大家分享。目前在大厂从事算法研究，与该平台没有利益关系。最近在做一些医疗大模型的微调，苦恼于手中资源不足，尝试过Google Colab和Kaggle的白嫖，但数据集的上传就是首要面对的大问题。这两家的优势在于连通外网，下包还有数据集很快，缺点在于存储空间不太够。由于这个问题，我反复尝试多次上传数据集到和kaggle，均没有办法解决这个问题，所以尝试了一下OpenBayes的云服务器。不得不说，真的是非常香！
目标检测第6步：YOLOv5（5.0）如何在Colab中训练自定义数据集？（更新时间：2022.3.22）
Cat
07-13 2819
利用Colab提供的免费资源训练YOLOv5 5.0版本的自定义数据集。包含Labelimg工具的使用方法
Google免费云端环境Colaboratory的使用（详细步骤并贴图）--连接云盘与colab及上传本地至云盘
热门推荐
Lyndsey的博客
01-18 2万+
参考博客不过这个博客有一段时间了，有一些界面以及选项也不一样了，所以我将写一个我今天刚做的步骤。 先给一个Colaboratory的网址:Colaboratory 你需要有的： 一个Google帐号，没有的话可以自己创建。 科学上网。 步骤详解 1、右击【我的云端硬盘】-新建文件夹，右击【这个文件夹】–关联更多应用 2、搜素"colab"–关联 3、在主面板右击–【更多】–【colabor...
解决Google Colab自动掉线问题
weixin_46794107的博客
01-24 1481
打开谷歌浏览器，检查页面元素，进入控制台，输入 function ClickConnect(){ console.log("Working"); document .querySelector("#top-toolbar > colab-connect-button") .shadowRoot .querySelector("#connect") .click() } setInterval(ClickConnect,1*60000) //1 分钟
Google Colab数据集上传
icebearand77的博客
02-23 2914
解决COLAB上传数据集慢的问题第一步：第二步: 因为colab是域外的服务器，所以在国内想要上传数据集，速度是非常非常的慢，因此写下自己在解决问题时的一些方法。 通过将数据集传到域外的一款软件，然后数据集传到COLAB 我用的方法是先将数据集传到onedrive上面（放心传数据集到onedrive上面是很快的），然后将数据集通过onedrive传到谷歌云盘，然后将谷歌云盘上的数据集传到colab上。听起来很麻烦，其实很简单。 第一步： 登录到onedrive，然后将数据集传到文档这个文件夹下面，直接拉进去
Google Colab 训练很慢原因——驱动器读取数据集慢（已解决）
黎国溥
12-05 8929
前言 最近在使用Google Colab 训练模型，分配的是 Tesla P100-PCIE-16G 显卡；这个显卡也不是很弱啊，但在训练模型时，发现很慢。比我本地的两张1080ti显卡（合起来也是16G）慢几倍了，感到非常困惑，后来看了很多文章，发现了是谷歌网盘驱动器读取数据集慢 导致的。。。。。。 关于之前使用Google Colab（错误示范） 首先是把代码和数据集也下载放到了谷歌网盘；想着下载处理好数据集后，下次能直接训练，不用重新下载数据集和重新处理数据了。 然后是挂载谷歌网盘；Go.
解决Google Colab - 上传数据集慢 - pytorch读取数据慢
Void_Pointer
05-24 5940
解决Google Colab - 上传数据集慢 - pytorch读取数据慢上传数据集慢pytorch读取数据慢 上传数据集慢 许多小伙伴在白嫖GoogleColab时遇到上传数据集慢的问题，那么上传数据集慢是怎么回事呢，下面小编现在就… (不是营销号，划掉) 解决方法：先将数据集压缩打包，然后传压缩包到谷歌云端，再Colab用解压，速度可以快很多。 # 解压缩文件 # (我不会 我百度的 但是能用 嘻嘻) import zipfile file_dir = '/content/drive/My Drive
快速上传数据集等文件至google colab-----解决上传colab文件慢的问题
qq_35823311的博客
02-15 3317
批量上传文件到google colab办法 快速上传数据集等文件至google colab 解决上传colab文件慢的问题 数据集进行模型训练
Google drive上传数据集太慢
09-13
解决Google Drive上传数据集速度慢的方法可以通过以下步骤实现： 1. 将数据集先进行压缩打包，这可以减少文件的大小，加快上传速度。 2. 打开Colab并导入需要的库，例如zipfile。 3. 获取压缩包的路径，确保路径正确。 4. 使用zipfile库中的ZipFile函数来打开压缩包。 5. 使用循环遍历压缩包中的文件，并将其解压到指定路径下。可以使用extract函数来实现解压。 6. 关闭压缩包。 这样，你就能够通过压缩和解压缩来加快Google Drive上传数据集的速度了。如果需要更详细的信息，你可以参考CSDN上的相关博文。同时，你也可以参考加拿大Whitemud Drive高速公路数据集的相关研究，以获得关于交通流预测及相关模型分析、出行时间预测及相关模型分析、短期出行需求预测及相关模型分析以及可变限速控制对高速公路交通流影响的更多信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值