Kaggle数据集快速上传至Google Colab上,速度可达70MB/S+ !!!

Kaggle提供免费的GPU,但是时间是有限制的,但是Google Colab的GPU是没有时间限制的,所以本文介绍一下如何将Kaggle数据集上传到Google Colab上,如果本地上传,实在是慢,但通过Kaggle数据API式上传,在我笔记本上,上传数据的速度能达到77MB/s;

要实现数据上传,只需要在Colab笔记上依次运行下面的命令即可,亲测有效:

!pip install kaggle
import json
token = {"username":"xxxxx","key":"xxxxx"}
with open('/content/kaggle.json', 'w') as file:
  json.dump(token, file)
上面中token字典中键对应的值是你账号的内容,具体操作如下:

1. 首先进入Kaggle,点击你的头像,点击My Account;

2. 往下拖,点击下面API中Create New API Token,他会自动生成一个json文件;

3. 将你的json文件后面对应的 username 与 key 对应的内容填充到上面的代码块中;

接下来,依次运行下面的代码:

!mkdir -p ~/.kaggle
!cp /content/kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json
!kaggle config set -n path -v /content     # /content可替换成自己云盘里你想存放数据集的地址
 到这里,我们就算完成了一些初始步骤,可以说,上面这些步骤无论在kaggle上下载什么数据集都需要重复的;

接下来,是你想下载什么数据集,就运行什么数据集的API(Kaggle)上;

如何寻找kaggle数据的API? 

1.寻找我们想下载的数据集:

2. 点击New Notebook上面右边的标记;

3. 点击Copy API command ,然后复制到Colab中运行,即可完成数据下载;

结果显示,即使是10G左右的数据,也能下载的非常快; 
————————————————
版权声明:本文为CSDN博主「qq_20880939」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_20880939/article/details/105613800

回答: 如果你觉得在本地上传Kaggle数据集太慢,你可以尝试将数据集上传Google Colab上。通过使用Kaggle数据API,你可以在Colab快速上传数据集。首先,你需要在Colab中导入Kaggle的API密钥文件(kaggle.json),并将其存放在/.kaggle文件夹中。这样,你的Kaggle账号就与Colab成功连接了。接下来,你可以使用Kaggle提供的下载代码来测试连接是否成功。如果连接成功,你就可以直接从Kaggle中导入数据集了。如果不幸遇到401 - Unauthorized提示,可能是因为API密钥过期了,你需要重新下载API文件并重新导入到Colab中。此外,如果你想删除Colab中的文件夹,你可以使用Linux指令来删除。例如,使用指令"!rm -rf data"来删除名为"data"的文件夹。以上是一些初始步骤,无论你在Kaggle上下载什么数据集,都需要重复这些步骤。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [Kaggle数据集快速上传Google Colab上,速度可达70MB/S+ !!!](https://blog.csdn.net/Leon1997726/article/details/115367517)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [关于colab中连接kaggle、运行数据集时遇到的一些问题](https://blog.csdn.net/weixin_45038397/article/details/126841026)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值