wget命令从kaggle.com下载文件

最新推荐文章于 2024-06-24 17:00:08 发布

sanfendi

最新推荐文章于 2024-06-24 17:00:08 发布

阅读量8.7k

点赞数

分类专栏：杂谈

本文链接：https://blog.csdn.net/laozhaokun/article/details/49587463

版权

当需要从kaggle.com下载大型数据集时，由于缺乏直接的网盘下载和国内下载速度限制，可以利用wget结合cookie进行下载。首先登录kaggle并获取cookie，然后将cookie保存为文本文件，通过wget命令的POST数据参数输入用户名和密码，实现高效下载。

摘要由CSDN通过智能技术生成

kaggle.com上的数据集有时候会比较大，而且没有提供网盘下载机制，国内下载速度非常慢，同时下载需要验证，也无法使用迅雷工具下载。

kaggle论坛上看到有wget的下载方式介绍[1]：

做法是先登录kaggle.com，记下浏览器中的cookie，将cookie保存到cookies.txt中，执行如下命令：

wget -x --load-cookies cookies.txt -P data -nH --cut-dirs=5 http://www.kaggle.com/c/avazu-ctr-prediction/download/test.gz

但是很快就执行完毕，只下载了14kb，肯定有问题：

[zhf@localhost ~]$ wget -x --load-cookies cookies.txt https://www.kaggle.com/c/avazu-ctr-prediction/download/test.gz
--2015-11-02 23:35:29--  https://www.kaggle.com/c/avazu-ctr-prediction/download/test.gz
Resolving www.kaggle.com (www.kaggle.com)... 168.62.224.124
Connecting to www.kaggle.com (www.kaggle.com)|168.62.224.124|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: /account/login?ReturnUrl=%2fc%2favazu-ctr-predicti