kaggle下载数据到远端服务器 Wget

最新推荐文章于 2024-06-01 11:57:29 发布
最新推荐文章于 2024-06-01 11:57:29 发布
阅读量1.3k 收藏 6
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rain_Run/article/details/101855088
版权

这篇讨论 怎么从kaggle上直接下载数据到远端服务器。
1.先进入kaggle比赛中data选项，点击Download All，下载到本地在这里插入图片描述
2.ctrl + j，右击severstal-steel-defect-detection.zip，选择copy link address。应该得到类似 https://storage.googleapis.com/kaggle-competitions-data/kaggle/14241/574364/all.zip?GoogleAccessId=web-data@kaggle-161607.iam.gserviceaccount.com&Expires=1570174221&Signature=EExbMGP233Eqp16ytbAKWmQSSAVmw0Bh2EfuySbkatFlqANAnpksl1eSLJqFw9ObtKyAiwKrf0rxi%2FUnsbNw83IovOiSO8ZVPa4zTAYzcsPIl2sVyvTrOxKPXYV6w8zftBdFzfLujLeOBTlWf1sNIGrk6x8rhMcy1YA6BTPp6Qto8NppUjhkfdA40oCMzWbozxsSEuSXHEdbp4Aa9VWN31vSzXZ445g74QA7kstubRiqt90OLbbCj1%2BdjznodGu%2Fi4nxXMrEHLVQafh4W6RP3Z82yCtWuQM2OsAau7FQc5ZHlFx4sqhFSNFdbcP0tjjrU7LReaqZ8BPro9JoxSOS0Q%3D%3D&response-content-disposition=attachment%3B+filename%3Dseverstal-steel-defect-detection.zip
在这里插入图片描述
3. 在ssh上输入 Wget “https://storage.googleapis.com/kaggle-competitions-data/kaggle/14241/574364/all.zip?GoogleAccessId=web-data@kaggle-161607.iam.gserviceaccount.com&Expires=1570174221&Signature=EExbMGP233Eqp16ytbAKWmQSSAVmw0Bh2EfuySbkatFlqANAnpksl1eSLJqFw9ObtKyAiwKrf0rxi%2FUnsbNw83IovOiSO8ZVPa4zTAYzcsPIl2sVyvTrOxKPXYV6w8zftBdFzfLujLeOBTlWf1sNIGrk6x8rhMcy1YA6BTPp6Qto8NppUjhkfdA40oCMzWbozxsSEuSXHEdbp4Aa9VWN31vSzXZ445g74QA7kstubRiqt90OLbbCj1%2BdjznodGu%2Fi4nxXMrEHLVQafh4W6RP3Z82yCtWuQM2OsAau7FQc5ZHlFx4sqhFSNFdbcP0tjjrU7LReaqZ8BPro9JoxSOS0Q%3D%3D&response-content-disposition=attachment%3B+filename%3Dseverstal-steel-defect-detection.zip” --no-check-certificate -O severstal-steel-defect-detection.zip
4.
wget ‘URL’ --no-check-certificate -O FILENAME

Notice the URL needs to be wrapped in ’ ’ single quotes.
在这里插入图片描述
5. 下载完成后，可以用unzip解压 unzip severstal-steel-defect-detection.zip

此方法是TuTTuRu同学教授，感谢ing！

淼~Rain
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
wget命令从kaggle.com下载文件
三分地
11-02 8712
kaggle.com上的数据集有时候会比较大 ，而且没有提供网盘下载机制，国内下载速度非常慢，同时下载需要验证，也无法使用迅雷工具下载。 kaggle论坛上看到有wget的下载方式介绍[1]：  做法是先登录kaggle.com，记下浏览器中的cookie，将cookie保存到cookies.txt中，执行如下命令： wget -x --load-cookies cookies.txt -P
remokaggle:快速设置与Kaggle内核进行深度学习的SSH连接。 为了免费使用该性感的Tesla P100（并且没有Jupyter Notebook的许多限制）
05-10
莫名其妙 :rocket: 将SSH设置到Kaggle内核进行深度学习的快速脚本。 为了免费使用该性感的P100（并且不受Jupyter Notebook的限制）：P ！ ！ 更新 ！ ！ Kaggle阻止了将SSH隧道创建到正在运行的Kaggle内核中的任何尝试。 因此，不幸的是，此仓库不再可用。 尝试使用此存储库中提供的脚本可能会违反Kaggle的条款和条件，并且将使您的Kaggle帐户遭到拒绝！ 当我们等待Kaggle更改其政策时，具有完整SSH连接的免费（或相对便宜）GPU实例的最佳解决方案是带有Tesla V100的GOOGLE COLAB （以及Colab Pro）长达24小时。 我创建了另一个软件包，可以帮助您在此存储库中获得到正在运行的Colab笔记本的SSH隧道： : 。 你们应该改用它。 感谢您的检查 :victory_hand: ！ 准备 在Google或Github注册后，访问
kaggle/其他链接下载数据集到服务器
Realff的博客
09-07 730
下载kaggle到服务器
手把手教大家如何使用Kaggle平台的免费GPU资源跑深度学习模型
最新发布
jiabiao1602的专栏
06-01 3127
手把手教大家如何使用Kaggle平台的免费GPU资源跑深度学习模型，包括平台介绍、注册遇到问题处理、登录后如何申请GPU资源、打开Jupyter Notebook及跑深度学习模型。
远程Linux服务器利用kaggle API下载kaggle数据集
davidsmith8的博客
05-05 2730
远程Linux服务器利用kaggle API下载kaggle数据集 计算机小白问题多，本小白在学习pytorch的过程中又遇到了一个问题，那就是在远程登录Linux服务器时如何才能方便的下载Kaggle 的数据集。Kaggle数据集大家都比较熟悉，就是有点儿被墙，让大家不太好注册和使用，相信对于大家来说这不是个问题。今天小白我遇到的具体问题就是我远程登录着一个服务器...
Kaggle使用时的小细节
桦桦的博客
08-06 700
Kaggle一些基本使用方法和下载文件处理
kaggle 猫狗数据集
07-06
kaggle 猫狗数据集
Titanic原始数据集【kaggle下载】
02-14
1、包含了train、test和gender submission三个文件的内容；文件内容结构以id列区分：1~891为train数据集，第一组892~1309为无结果的test集，第二组892~1309为结果集。
Titanic数据集——Kaggle上下载
09-04
Titanic数据集——Kaggle上下载
kaggle公开数据集下载教程
07-09
点击“Download”按钮，数据集将被下载到你的设备上。 2. **使用Kaggle API**：对于大型数据集，或者如果你需要频繁地下载和上传数据，使用Kaggle API更为方便。首先，你需要在Kaggle个人设置中启用API，并生成API...
kaggle titanic数据集
02-22
深入分析“kaggle titanic数据集”，我们可以学习到以下几个关键知识点： 1. 数据预处理：数据集中存在缺失值，例如年龄（Age）和船舱（Cabin）信息不完整，我们需要用合适的策略填充这些空缺，如平均值、中位数...
谢韦尔钢材数据集：Severstal-steel-defect
08-02
该数据集提供了4种类型的带钢表面缺陷，共包含6666张图片，像素值800×128，已打好txt格式的标签，拿到手即可直接开始训练。
Steel-Defect-Detection
03-06
钢缺陷检测
kaggle如何联网（pip/wget）-- 使用GoogleCloud
qq_43520571的博客
03-06 4536
在Kaggle上安装第三方库/wget下载 在默认情况下，kaggle的Kernel不能使用联网的bash命令，诸如wget、pip等， 可能会出现如下错误 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<pip._vendor.urllib3.connection.Veri
远程Linux上快速下载Kaggle资源到百度网盘中的方法
AiBigData的博客
03-25 601
安装anaconda,参考 安装kaggle API：linux：pip install --user kaggle vim /etc/profile，文件末尾添加PATH=/root/.local/bin:$PATH export PATH source /etc/profile linux命令行下输入：kaggle，会自动创建/root/.kaggle 获取密钥文件：进...
kaggle用命令提交
微电子学与固体电子学-俞驰
09-01 599
命令如下: kaggle competitions submit -c ieee-fraud-detection -f 1_08_2_03.csv -m "Message"
白嫖kaggle算力资源并ssh连接
m0_57332527的博客
02-04 995
从上一篇的内容看，我是启用了code-server地端口，将其映射到ngrok内网穿透上，实现了方便地白嫖算力资源，那么如果想利用这台机器直接进行ssh连接岂不是更方便，于是本文将介绍如何进行ssh连接，方便使用vscode以及各种shell进行连接由于我的ngrok账户只允许一个端口转发连接，所以以开始就要直接进行22端口转发服务我们在kaggle打开终端依次进行这几个步骤（没有耐心直接跳转到）
解决Kaggle网站下载数据集速度慢
qq_52222102的博客
06-01 5049
解决Kaggle网站下载数据集速度慢
非常实验——在SSH下通过终端浏览网页
weixin_41446370的博客
05-22 1377
最近由于AI的兴起，我也在逐渐接触这个领域。虽然资料在kaggle、github和hugging face等有很多，但是如何在有限的成本下，保障自己的网络稳定呢？一种是RDP协议/VNC协议。另一种则是SSH协议。既然我玩Arch则就得实验一下xterm方案的可行性。于是想到了上世纪九十年代的lynx和w3m。这里我不推荐他们。毕竟那个时代都没有JS engine和css renderer。为此我翻遍资料，找到了一个新一代的终端浏览器——browsh。
Kaggle下载数据集
05-24
Kaggle是一个数据科学竞赛平台和社区，提供了大量的数据集供用户下载。以下是在Kaggle上下载数据集的步骤： 1. 首先，你需要注册一个Kaggle账号并登录。 2. 在Kaggle的主页上，点击“Datasets”选项卡，然后搜索你需要的数据集。 3. 找到你想要下载的数据集后，点击数据集名称进入数据集页面。 4. 在数据集页面上，你可以看到有关数据集的详细信息，包括数据集描述、文件列表、下载链接等。 5. 如果你想要下载数据集，可以点击“Download”按钮或者使用Kaggle API来下载。 6. 如果你使用Kaggle API来下载数据集，你需要在终端中运行相应的命令来下载数据集。例如，如果你想要下载名为“dataset.csv”的数据集，可以使用以下命令： ``` kaggle datasets download -d username/dataset -f dataset.csv ``` 其中，`username`是数据集创建者的用户名，`dataset`是数据集的名称，`dataset.csv`是你想要下载的文件名。 希望这些信息对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值