快速上传数据集等文件至google colab-----解决上传colab文件慢的问题

方法:

可以借助github或者gitee间接将批量数据集上传到colab

如果你想将文件快速上传到google drive ,也可以尝试这种方式,将下面提到的数据集视为你要上传的文件即可。

由于如果直接从github/gitee平台上传数据集的话,一次上传有文件数量的限制。这里利用了本地api上传,借助git来上传。
注意gitee单个仓库最大500M,单个文件最大200M;github单个仓库最大5G,请根据数据集大小选择合适的。

推荐用gitee,服务器在国内,上传较快,以gitee为例,说明过程:

1,在gitee新建仓库。

image-20220215213954136

2.设置为公开

image-20220215214059557

3.下载git并安装(已经有的跳转下一步)

官网:https://git-scm.com/

windows版本

image-20220215214154407

4.将要上传的文件夹设置为git仓库

4.1 git bash here

image-20220215214353034

4.2 配置用户名以及邮箱

git config --global user.name "xxx"
git config --global user.email "xxx"

4.3 把该项目变成可被git管理的仓库,添加该项目下的所有文件

git init
git add .

4.4 将文件添加到仓库中去

git commit -m '这是数据集'

4.5 将本地代码库与远程代码库相关联

git remote add origin https://gitee.com/moluggg/datasets

格式为:git remote add origin https://gitee.com/gitee用户名/仓库名

4.6 强制把远程仓库跟新到当前分支上面

ps:如果仓库为空这一步可以跳过

git pull --rebase origin master

4.7 将本地代码推送到指定远程的仓库中

git push -u origin master

image-20220215214805069

5.在google colab上载

from google.colab import drive
drive.mount('/content/drive')

colab装在google drive,并选择你将要上载到的位置:

!ls
%cd /content/drive/MyDrive/XX

上载gitee仓库数据集

image-20220215215200864

!git clone https://gitee.com/moluggg/datasets.git

image-20220215214855595

常见错误

1.今天使用git 添加远程github仓库的时候提示错误:fatal: remote origin already exists.

先删除远程 Git 仓库
 git remote rm origin
再添加远程 Git 仓库
git remote add origin XXX

2.git 执行git push 出现报错 fatal: unable to access 'https://github.com/xxxx/xxxx.git/': OpenSSL SSL_read: Connection was reset, errno 10054

执行

  git config --global http.sslVerify false
  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值