kaggle下载数据到远端服务器 Wget

最新推荐文章于 2024-06-04 21:02:06 发布
最新推荐文章于 2024-06-04 21:02:06 发布
阅读量1.6k 收藏 5
点赞数 6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rain_Run/article/details/101855088
版权

这篇讨论 怎么从kaggle上直接下载数据到远端服务器。
1.先进入kaggle比赛中data选项，点击Download All，下载到本地在这里插入图片描述
2.ctrl + j，右击severstal-steel-defect-detection.zip，选择copy link address。应该得到类似 https://storage.googleapis.com/kaggle-competitions-data/kaggle/14241/574364/all.zip?GoogleAccessId=web-data@kaggle-161607.iam.gserviceaccount.com&Expires=1570174221&Signature=EExbMGP233Eqp16ytbAKWmQSSAVmw0Bh2EfuySbkatFlqANAnpksl1eSLJqFw9ObtKyAiwKrf0rxi%2FUnsbNw83IovOiSO8ZVPa4zTAYzcsPIl2sVyvTrOxKPXYV6w8zftBdFzfLujLeOBTlWf1sNIGrk6x8rhMcy1YA6BTPp6Qto8NppUjhkfdA40oCMzWbozxsSEuSXHEdbp4Aa9VWN31vSzXZ445g74QA7kstubRiqt90OLbbCj1%2BdjznodGu%2Fi4nxXMrEHLVQafh4W6RP3Z82yCtWuQM2OsAau7FQc5ZHlFx4sqhFSNFdbcP0tjjrU7LReaqZ8BPro9JoxSOS0Q%3D%3D&response-content-disposition=attachment%3B+filename%3Dseverstal-steel-defect-detection.zip
在这里插入图片描述
3. 在ssh上输入 Wget “https://storage.googleapis.com/kaggle-competitions-data/kaggle/14241/574364/all.zip?GoogleAccessId=web-data@kaggle-161607.iam.gserviceaccount.com&Expires=1570174221&Signature=EExbMGP233Eqp16ytbAKWmQSSAVmw0Bh2EfuySbkatFlqANAnpksl1eSLJqFw9ObtKyAiwKrf0rxi%2FUnsbNw83IovOiSO8ZVPa4zTAYzcsPIl2sVyvTrOxKPXYV6w8zftBdFzfLujLeOBTlWf1sNIGrk6x8rhMcy1YA6BTPp6Qto8NppUjhkfdA40oCMzWbozxsSEuSXHEdbp4Aa9VWN31vSzXZ445g74QA7kstubRiqt90OLbbCj1%2BdjznodGu%2Fi4nxXMrEHLVQafh4W6RP3Z82yCtWuQM2OsAau7FQc5ZHlFx4sqhFSNFdbcP0tjjrU7LReaqZ8BPro9JoxSOS0Q%3D%3D&response-content-disposition=attachment%3B+filename%3Dseverstal-steel-defect-detection.zip” --no-check-certificate -O severstal-steel-defect-detection.zip
4.
wget ‘URL’ --no-check-certificate -O FILENAME

Notice the URL needs to be wrapped in ’ ’ single quotes.
在这里插入图片描述
5. 下载完成后，可以用unzip解压 unzip severstal-steel-defect-detection.zip

此方法是TuTTuRu同学教授，感谢ing！

淼~Rain
关注
remokaggle:快速设置与Kaggle内核进行深度学习的SSH连接。 为了免费使用该性感的Tesla P100（并且没有Jupyter Notebook的许多限制）
05-10
莫名其妙 :rocket: 将SSH设置到Kaggle内核进行深度学习的快速脚本。 为了免费使用该性感的P100（并且不受Jupyter Notebook的限制）：P ！ ！ 更新 ！ ！ Kaggle阻止了将SSH隧道创建到正在运行的Kaggle内核中的任何尝试。 因此，不幸的是，此仓库不再可用。 尝试使用此存储库中提供的脚本可能会违反Kaggle的条款和条件，并且将使您的Kaggle帐户遭到拒绝！ 当我们等待Kaggle更改其政策时，具有完整SSH连接的免费（或相对便宜）GPU实例的最佳解决方案是带有Tesla V100的GOOGLE COLAB （以及Colab Pro）长达24小时。 我创建了另一个软件包，可以帮助您在此存储库中获得到正在运行的Colab笔记本的SSH隧道： : 。 你们应该改用它。 感谢您的检查 :victory_hand: ！ 准备 在Google或Github注册后，访问
谢韦尔钢材数据集：Severstal-steel-defect
08-02
该数据集提供了4种类型的带钢表面缺陷，共包含6666张图片，像素值800×128，已打好txt格式的标签，拿到手即可直接开始训练。
远程Linux服务器利用kaggle API下载kaggle数据集
davidsmith8的博客
05-05 3237
远程Linux服务器利用kaggle API下载kaggle数据集 计算机小白问题多，本小白在学习pytorch的过程中又遇到了一个问题，那就是在远程登录Linux服务器时如何才能方便的下载Kaggle 的数据集。Kaggle数据集大家都比较熟悉，就是有点儿被墙，让大家不太好注册和使用，相信对于大家来说这不是个问题。今天小白我遇到的具体问题就是我远程登录着一个服务器...
kaggle/其他链接下载数据集到服务器
Realff的博客
09-07 906
下载kaggle到服务器
如何在Kaggle高效下载并迁移数据集至Linux服务器进行深度学习项目
Mickey的博客
05-07 2206
在人工智能深度学习领域，高质量的数据集是推动深度学习模型训练研究与应用的关键。Kaggle作为一个广受欢迎的数据科学竞赛平台，提供了丰富的公开数据集供研究者和开发者使用。本帖将指导大家如何在Kaggle上找到并下载所需数据集，并将其迁移至Linux服务器，以便于利用服务器的强大计算资源进行多GPU训练。
wget命令从kaggle.com下载文件
三分地
11-02 8923
kaggle.com上的数据集有时候会比较大 ，而且没有提供网盘下载机制，国内下载速度非常慢，同时下载需要验证，也无法使用迅雷工具下载。 kaggle论坛上看到有wget的下载方式介绍[1]：  做法是先登录kaggle.com，记下浏览器中的cookie，将cookie保存到cookies.txt中，执行如下命令： wget -x --load-cookies cookies.txt -P
Kaggle使用时的小细节
桦桦的博客
08-06 876
Kaggle一些基本使用方法和下载文件处理
avazu数据集下载
12-28
### 下载 Avazu 数据集的方法 为了获取 Avazu 数据集，可以访问 Kaggle 官方网站上的数据集页面[^2]。有两种主要方式来下载此数据集： #### 方法一：通过Kaggle网页界面下载 - 访问 Avazu 数据集的官方页面。 - ...
kaggle404 Not Found
最新发布
03-20
4. **服务器端维护活动期间暂时不可达** 当前所指向的服务站点或许正处于例行检修阶段因而无法即时响应客户端发起的各项请求动作。这种时候耐心等候一段时间后再做尝试往往能够解决问题。 5. **竞赛结束后的数据...
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
2401_85280106的博客
06-04 1506
LLMs之LLaMA：LLaMA的简介、安装和使用方法、案例应用之详细攻略_chinese_calendar每年手动更新-CSDN博客LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_llama2-CSDN博客LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客。
第1144期AI100_机器学习日报(2017-11-05)
ai100_ml的博客
11-06 1475
AI100_机器学习日报 2017-11-05 聊天机器人Chatbot知识资料全集（入门/进阶/论文/软件/数据/专家等） @wx:专知内容组推荐中的序列化建模：Session-based neural recommendation @wx:白婷11分钟训练完ImageNet @wx:Facebook最新对抗学习研究：无需平行语料库完成无监督机器翻译 @wx:基于机器学习的音乐推
白嫖kaggle算力资源并ssh连接
m0_57332527的博客
02-04 2150
从上一篇的内容看，我是启用了code-server地端口，将其映射到ngrok内网穿透上，实现了方便地白嫖算力资源，那么如果想利用这台机器直接进行ssh连接岂不是更方便，于是本文将介绍如何进行ssh连接，方便使用vscode以及各种shell进行连接由于我的ngrok账户只允许一个端口转发连接，所以以开始就要直接进行22端口转发服务我们在kaggle打开终端依次进行这几个步骤（没有耐心直接跳转到）
Steel-Defect-Detection
03-06
钢缺陷检测
kaggle如何联网（pip/wget）-- 使用GoogleCloud
qq_43520571的博客
03-06 5430
在Kaggle上安装第三方库/wget下载 在默认情况下，kaggle的Kernel不能使用联网的bash命令，诸如wget、pip等， 可能会出现如下错误 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<pip._vendor.urllib3.connection.Veri
远程Linux上快速下载Kaggle资源到百度网盘中的方法
AiBigData的博客
03-25 666
安装anaconda,参考 安装kaggle API：linux：pip install --user kaggle vim /etc/profile，文件末尾添加PATH=/root/.local/bin:$PATH export PATH source /etc/profile linux命令行下输入：kaggle，会自动创建/root/.kaggle 获取密钥文件：进...
kaggle用命令提交
微电子学与固体电子学-俞驰
09-01 622
命令如下: kaggle competitions submit -c ieee-fraud-detection -f 1_08_2_03.csv -m "Message"
解决Kaggle网站下载数据集速度慢
qq_52222102的博客
06-01 6755
解决Kaggle网站下载数据集速度慢
非常实验——在SSH下通过终端浏览网页
weixin_41446370的博客
05-22 1671
最近由于AI的兴起，我也在逐渐接触这个领域。虽然资料在kaggle、github和hugging face等有很多，但是如何在有限的成本下，保障自己的网络稳定呢？一种是RDP协议/VNC协议。另一种则是SSH协议。既然我玩Arch则就得实验一下xterm方案的可行性。于是想到了上世纪九十年代的lynx和w3m。这里我不推荐他们。毕竟那个时代都没有JS engine和css renderer。为此我翻遍资料，找到了一个新一代的终端浏览器——browsh。
动手学深度学习Kaggle：图像分类 (CIFAR-10和Dog Breed Identification), StratifiedShuffleSplit，数据集划分
iwill323的博客
10-10 3771
动手学深度学习Kaggle：图像分类 (CIFAR-10)
kaggle数据集下载到服务器
02-20
### 将Kaggle数据集下载到服务器 #### 准备工作 为了能够通过API方式将Kaggle的数据集下载到服务器，首先需要完成一些准备工作。这包括但不限于安装`kaggle` Python库以及配置必要的认证文件。 确保Python环境已经设置好之后，可以通过pip来安装`kaggle`工具： ```bash pip install kaggle ``` 接着，在本地机器上登录Kaggle账号获取API Token，并将其保存为JSON格式的文件（即`kaggle.json`），该文件包含了用于身份验证的信息。随后，需将此文件传输至目标Linux服务器上的特定位置以便后续操作可以顺利执行[^1]。 #### 配置认证信息 一旦拥有上述提到的`kaggle.json`文件，则应按照如下路径放置于服务器之中：`/home/username/.kaggle/kaggle.json`；其中`username`代表当前用户的主目录名。另外，出于安全考虑，还需调整这个文件的读写权限，使之仅限于属主可访问： ```bash chmod 600 ~/.kaggle/kaggle.json ``` 以上步骤完成后便意味着完成了初步设定过程[^4]。 #### 执行下载指令 当一切准备就绪后，就可以利用命令行轻松实现远程批量下载所需资源了。假设想要获取名为`dataset-name`的数据集合，那么只需运行下面这条简单的CLI命令即可达成目的： ```bash kaggle datasets download -d dataset-owner/dataset-name ``` 这里需要注意的是，实际应用时应当替换掉`dataset-owner`和`dataset-name`这两个占位符，使其对应真实的作者用户名与作品ID[^3]。 对于某些特别庞大的资料包来说，如果遇到网络状况不佳或者其他因素影响正常接收进度的情况下，还可以尝试借助`wget`工具配合官方提供的直链来进行手动拉取作业。不过这种方式相较于前者会显得稍微复杂一点，因为它往往涉及到处理SSL证书校验等问题[^5]。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值