Kaggle提供免费的GPU,但是时间是有限制的,但是Google Colab的GPU是没有时间限制的,所以本文介绍一下如何将Kaggle数据集上传到Google Colab上,如果本地上传,实在是慢,但通过Kaggle数据API式上传,在我笔记本上,上传数据的速度能达到77MB/s;
要实现数据上传,只需要在Colab笔记上依次运行下面的命令即可,亲测有效:
!pip install kaggle
import json
token = {"username":"xxxxx","key":"xxxxx"}
with open('/content/kaggle.json', 'w') as file:
json.dump(token, file)
上面中token字典中键对应的值是你账号的内容,具体操作如下:
1. 首先进入Kaggle,点击你的头像,点击My Account;
2. 往下拖,点击下面API中Create New API Token,他会自动生成一个json文件;
3. 将你的json文件后面对应的 username 与 key 对应的内容填充到上面的代码块中;
接下来,依次运行下面的代码:
!mkdir -p ~/.kaggle
!cp /content/kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json
!kaggle config set -n path -v /content # /content可替换成自己云盘里你想存放数据集的地址
到这里,我们就算完成了一些初始步骤,可以说,上面这些步骤无论在kaggle上下载什么数据集都需要重复的;
接下来,是你想下载什么数据集,就运行什么数据集的API(Kaggle)上;
如何寻找kaggle数据的API?
1.寻找我们想下载的数据集:
2. 点击New Notebook上面右边的标记;
3. 点击Copy API command ,然后复制到Colab中运行,即可完成数据下载;
结果显示,即使是10G左右的数据,也能下载的非常快;
————————————————
版权声明:本文为CSDN博主「qq_20880939」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_20880939/article/details/105613800