“用Kaggle API”下载比赛部分数据文件夹 | 总结与翻译外网相关资源

最新推荐文章于 2021-11-24 09:54:51 发布
最新推荐文章于 2021-11-24 09:54:51 发布
阅读量711 收藏 3
点赞数
分类专栏： 深度学习 文章标签： Kaggle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49973750/article/details/119010090
版权

在这里插入图片描述

基本上翻遍了国内论坛都没有相关解决方法，但在外网找到了，故翻译一下并且结合自身感想写一篇文章帮助有类似问题的朋友，如果觉得不错，还请点个赞，谢啦！

本次着重解决的问题是： 在远端Linux服务器上如何“使用 Kaggle API 下载”比赛中的部分文件夹数据
重点在于：文件夹，而不是其中的文件

我们知道如果本地要下载Kaggle比赛数据可以直接点击网页上的 Download All 进行下载在这里插入图片描述
或者使用Kaggle API
在这里插入图片描述
直接远程下载到服务器上
如此大的数据，一般我们也不会选择在自己的电脑上面跑，
自然而然，也就只能使用Kaggle API进行数据的下载

如果你不知道如何配置Kaggle API 推荐两篇文章：
1.Kaggle数据集下载详细步骤及注意事项
2.Kaggle官方说明文书

但如上图所示，数据量太大了，且存在老数据，那我们可否只下载其中的test和train呢？
就官方渠道而言用Kaggle API是不可以的，因为官方文档明确说明只能下载其中的文件
在这里插入图片描述

而文件夹不属于文件
国内外就有些朋友想到用for循环将文件夹中的文件一个个下载下来
但这样存在两个问题

1.一般数据量很大，高频次的请求下载一个个文件会受到kaggle的拒绝
2.即使下载下来了，一个个解压整理也要花费大量时间

难道就没有办法解决了吗？
有，但不是用Kaggle API
而是使用wget
我们知道wget可以远程下载指定连接的文件
但kaggle为了防止被人恶意攻击，自然是不能直接使用的
Kaggle API都需要个人的json才能使用
那么我们如何向Kaggle证明我们是用户而不是恶意攻击者呢？

解决方法

用插件！
这是Md Mofijul (Akash) Islam提出的解决方法
通过使用CurlWget Chrome 插件
然后在网页端点击需要下载的文件夹后迅速点击此插件，然后复制粘贴指令到命令行即可
在这里插入图片描述
亲测可用！
在这里插入图片描述

「已注销」
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kaggle Download Assistant-crx插件
03-25
语言:English 用于Kaggle的Chrome扩展程序。 提供用于下载和解压缩比赛文件的命令。 此扩展通过提供轻松下载和解压缩文件的命令来帮助Kaggler。 当前，它提供了用于使用wget和curl下载文件的命令。 与现有工具相比，它允许选择多个文件进行下载。 竞争规则可以在此扩展内接受。 此外，它还提供了其他设置来生成用于解压缩文件的命令（例如* .zip，*。tar，*。gz）。 它还通过在比赛字段中指定owner_name / dataset_name来支持用户数据集的下载。
从kaggle平台下载数据（不翻墙，很简单，5分钟）
最新发布
Aa13598935401的博客
01-23 1407
kaggle平台注册，有QQ邮箱就能成功注册。
kaggle数据集_[Kaggle]用Kaggle API下载竞赛数据集
weixin_39857876的博客
12-03 389
喜欢用Kaggle练手机器学习的同学，必定是喜欢它众多的数据集，还有社区论坛，以及一大票别人家的代码！但很多人知道，但不一定用过的一个功能，那就是Kaggle API[1]。Kaggle API是什么呢？在每个竞赛的Data说明页面下，如Convey2020竞赛[2]下：1.1 设置Kaggle API配置文件新建一个json文件于目录 ~/.kaggle/kaggle.json 下，编辑它：{ ...
快速下载 kaggle 数据集（亲测有用）
01-08
安装 kaggle API 在 linux 或者 mac 终端输入如下命令: pip install kaggle 找到My account： 往下拉找到create new api token,点击下载kaggle.json文件：  一定要注意这个kaggle.json文件下载在哪，将其复制到.kaggle文件下： mkdir ~/.kaggle cp kaggle.json ~/.kaggle/kaggle.json 如果是Linux系统，先创建.kaggle文件夹，Linux在home\~\.kaggle下面，Windows在C:\Users\~\.kaggle (~  your
Python Pandas数据处理入门（Kaggle Titanic竞赛数据）
fisfog的学习coffee
09-01 2万+
Kaggle数据竞赛是学习ML的一种有效途径。
Kaggle 数据集下载步骤
汤姆鱼
12-07 3260
一、安装 kaggle 库； pip install kaggle ps：安装 kaggle 库需要用到「waiwang」，否则可能会下载出错； Tizi：https://blog.csdn.net/weixin_41923658 注意：有可能安装库后，却没有生成 .kaggle 文件夹，如果没有，在 Anaconda Prompt 终端里面输入 kaggle compe...
windows从kaggle中下载数据集
as630389088的博客
08-29 1482
下载kaggle库 pip install kaggle 在用户中查看是否创建.kaggle文件夹(可能需要几分钟) 注册kaggle账号 注册需要外网，如果没这个条件可以使用社群账户登录kaggle下载数据 账户：houzitest，密码：Learndata 登陆之后，点击头像下载kaggle的api 将下载的得到的kaggle.json文件移到.kaggle文件夹 cmd后下载对应的数据，复制API命令 参考https://www.zhihu.com/q.
kaggle下载数据集步骤
lizz2276的博客
08-08 1万+
https://mzgao.blog.csdn.net/article/details/86658904 一.前言 在下载之余利用间隙时间来分享Microsoft Malware Classification Challenge (BIG 2015)数据集的获取。先前笔者在搜索引擎想得到获取方式的时候，几乎没有教程是特定于这个数据集的，于是想记录这个过程。 二.准备 1.安装kaggle库 pip install kaggle 2.注册登录kaggle账户https://www.kaggle
Kaggle数据集下载详细步骤及注意事项
热门推荐
lxw234lxw的博客
11-08 4万+
本文以APTOS 2019 Blindness Detection竞赛数据库为例，详解下载步骤。 目录 一、安装kaggle库 二、注册kaggle账号 三、找到需要下载的数据集，并接受规则。 四、下载json文件 五、将json文件放入.kaggle文件夹中 六、下载数据集 注：转载请标明原文出处链接：https://blog.csdn.net/lxw234lxw/artic...
附录1-kaggle的使用
potato123232的博客
11-24 5703
kaggle是一个可以下载数据集的网站，除了可以下载数据集以外，我们还可以使用kaggle的免费GPU资源，我们可以在kaggle上训练模型 这个是kaggle的网址Kaggle: Your Machine Learning and Data Science Community 如果没注册的朋友可以注册一个账号，在注册账号中验证码环节会出现过不了墙无法看到验证码的问题，我们在谷歌浏览器中安装一个插件可以解决这个问题 目录 1安装插件 2下载规则文件 3使用Header Editor ...
Python-Kaggle官方API便捷上传下载比赛相关数据
08-11
Kaggle官方API：便捷上传、下载比赛相关数据
kaggle:Kaggle 比赛的代码和数据
06-10
卡格Kaggle 比赛的代码和数据otto：奥托集团产品分类挑战赛
来自 kaggle 比赛的 Ames Housing 数据集的探索性数据分析.zip
01-29
Ames 住房数据集 (De Cock 2011) 是学习我们将在整个...使用 R 编程语言对来自 kaggle 比赛的 Ames Housing 数据集进行探索性数据分析。 相关的可视化 可以查看： https://arienugroho050396.github.io/project2.html
Titanic原始数据集【kaggle下载】
02-14
1、包含了train、test和gender submission三个文件的内容；文件内容结构以id列区分：1~891为train数据集，第一组892~1309为无结果的test集，第二组892~1309为结果集。
如何理解矩阵的逆和转置？『吴恩达神经网络和深度学习补充资料Part3 DeepLearning-WEEK2』
z
02-01 1379
矩阵的转置 如果你已经写完了这周的编程作业，你会发现在神经网络中的Forward Propogation或者Backward Propogation都需要用到矩阵的转置，也许这个过程中你有许多疑问，什么时候要用转置？矩阵的转置究竟有什么意义？ 先了解下定义 嗯，可能你还是没有一个直观的感受，首先，矩阵的转置并不是物理上面的转，不是把A向左或者向右翻转90度，而是一种映射的转。 通俗点来讲，矩阵的转置就是将一个m x n的矩阵变成n x m维度的矩阵，那么“什么时候要用转置？”的问题就迎刃而解了。 在之前.
如何零基础用tensorflow搭建基本的CNN框架 | 附训练断点续练、图像展示、参数保存模块
z
05-16 663
如何零基础用tensorflow搭建基本的CNN框架 | 附训练断点续练、图像展示、参数保存模块 嗨，我是error。 这次的笔记是关于tensorflow基本框架的搭建，零基础带你熟悉如何应用keras搭建自己的CNN模型，并训练自己的数据，实现深度学习。 代码主要参考来源自 【国家精品课程】北京大学人工智能实践-TensorFlow2.0 CIFAR10数据集介绍，并使用卷积神经网络训练图像分类模型 Keras的八股文构建方法 这篇文章主要是写给tensorflow零基础但深度学习对CNN结构有一定
深度学习论文阅读笔记 | MemNet&IAN情感分析论文EMNLP 2016
z
05-19 640
深度学习论文阅读笔记 | MemNet&IAN情感分析论文EMNLP 2016 嗨，我是error。 这又是我的一个新系列，主要记录我阅读过的一些论文的笔记，与大家一起分享讨论，不定期更新，若有错误欢迎随时指出。 泛读 首先说一下整一篇论文的结构，这篇论文作者从MemNet汲取灵感，应用在多情感分类问题上面，结合注意力模型和定位取得了不错的成绩，达到了当时的SOTA。 论文的核心我也已经在思维导图中标记出来了，主要是在注意力模型和定位上面。 Abstract We introduce a
kaggle的下载数据的api如何使用
06-07
Kaggle提供了一个Python API来下载其数据集。使用以下步骤来安装和使用Kaggle API： 1. 在Kaggle网站中，点击右上角的用户图像，选择“账户”，然后滚动到API部分并点击“创建新API令牌”。这将下载一个JSON文件，其中包含您的Kaggle API用户名和密钥。 2. 在您的本地计算机上，安装Kaggle API。可以使用以下命令在终端中进行安装： ``` pip install kaggle ``` 3. 将JSON文件移动到您的计算机上的`~/.kaggle/`目录中。如果该目录不存在，则可以创建该目录。 4. 在终端中输入以下命令以下载Kaggle数据集： ``` kaggle datasets download -d dataset_name ``` 其中，`dataset_name`是您想要下载的数据集的名称。 5. 如果数据集是压缩文件，则可以使用以下命令来解压缩它： ``` unzip file.zip ``` 其中，`file.zip`是您下载的文件的名称。 请注意，您需要在Kaggle网站上接受数据集的规定和条件才能下载数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值