Kaggle数据集上传到Google Colab上，亲测绝对有效

最新推荐文章于 2024-03-07 17:11:52 发布

qq_20880939

最新推荐文章于 2024-03-07 17:11:52 发布

阅读量4.5k

点赞数 20

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_20880939/article/details/105613800

版权

48 篇文章 1 订阅

订阅专栏

Kaggle提供免费的GPU，但是时间是有限制的，但是Google Colab的GPU是没有时间限制的，所以本文介绍一下如何将Kaggle数据集上传到Google Colab上，如果本地上传，实在是慢，但通过Kaggle数据API式上传，在我笔记本上，上传数据的速度能达到77MB/s；

要实现数据上传，只需要在Colab笔记上依次运行下面的命令即可，亲测有效：

!pip install kaggle

import json
token = {"username":"xxxxx","key":"xxxxx"}
with open('/content/kaggle.json', 'w') as file:
  json.dump(token, file)

上面中token字典中键对应的值是你账号的内容，具体操作如下：

1. 首先进入Kaggle,点击你的头像，点击My Account;

2. 往下拖，点击下面API中Create New API Token，他会自动生成一个json文件;

3. 将你的json文件后面对应的 username 与 key 对应的内容填充到上面的代码块中；

接下来，依次运行下面的代码：

!mkdir -p ~/.kaggle

!cp /content/kaggle.json ~/.kaggle/

!chmod 600 ~/.kaggle/kaggle.json

!kaggle config set -n path -v /content

到这里，我们就算完成了一些初始步骤，可以说，上面这些步骤无论在kaggle上下载什么数据集都需要重复的；

接下来，是你想下载什么数据集，就运行什么数据集的API（Kaggle）上；

如何寻找kaggle数据的API？

1.寻找我们想下载的数据集：

2. 点击New Notebook上面右边的标记；

3. 点击Copy API command ,然后复制到Colab中运行，即可完成数据下载；

结果显示，即使是10G左右的数据，也能下载的非常快；

关注