关于colab中连接kaggle、运行数据集时遇到的一些问题

colad的登录需要科学上网,但一旦登上它就是一个比较好的免费服务器,如果你的科学上网手段比较厉害,连接应该还是很稳定的。
colab实际上是就是一个带有GPU的虚拟机,能够实现用linux指令操作,并且可以像jupyter notebook一样直接编写和运行Python代码。
要执行linux指令需在代码前加上!,而Python代码直接执行即可
在使用过程中,有时会用到自己的目标数据集,可能需要从kaggle上下载,你可以先将数据集下载本地,然后再上传到Google移动硬盘中,但这样的速度可能会很慢。因此推荐使用直接将kaggle库安装在colab中,从而直接执行代码下载数据集。
首先需要在colab环境中装载谷歌云盘可以去网上百度一下咋装载,也可以直接点击左侧文件列表中的图标没有装载之前是没有中间斜线的

下载kaggle的API直接去kaggle个人主页,找到Account,然后在API选项中找到create new API token选项下载即可。
在这里插入图片描述
在这里插入图片描述
之后就是将下载的.json文件导入到colab中了。我们的操作过程将集中在刚刚已经装载的你的个人谷歌云盘中,就是在这里插入图片描述

!pip install -q kaggle

在colab中导入kaggle库

from google.colab import files
files.upload()

将.json文件导入到colab中
在这里插入图片描述
你点击执行后会弹出让你选择文件的按钮,浏览文件夹选中刚刚下好的.json文件,如果没有问题现在你的文件夹列表中已经有了一个新增添的kaggle.json文件了在这里插入图片描述
之后的步骤很重要

!mkdir ~/.kaggle
!cp kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json

这就是为刚刚导入到云盘中的kaggle.json文件创建一个新的地址,使其存放在/.kaggle文件夹中,只有这样你的kaggle才算和colab真正连接起来了。
接着你可以测试一下是否连接成功,在kaggle中找到一个数据集,然后用网页提供的下载代码进行测试
在这里插入图片描述
在这里插入图片描述
如果连接显式运行成功则表明连接正确了,以后就用这种方法直接从kaggle中导入数据集就可以了。
如果你很不幸出现了401 - Unauthorized提示,不要着急,可能是由于你操作的时间过久,或者别的原因,导致你的个人kaggleAPI过期了,这时你需要重新下载一下API的文件,过程和刚在一样,重新导入进colab(在此之前,将电脑上旧的.json文件删除干净),这时再尝试下载一下数据集应该就没有问题了。
想插一句,如果你想删掉colab中的文件夹,比如刚才导入的数据集不太对,或者别的原因,但若是文件夹下有文件,当你用右键删除文件夹时会提示无法删除,这时可以用linux的指令进行删除

> !rm -rf data  #data特制你想删除的文件
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值