批量下载中国气象科学数据共享网的数据

最新推荐文章于 2025-04-22 07:58:48 发布

召唤师峡谷

最新推荐文章于 2025-04-22 07:58:48 发布

阅读量4.3w

点赞数 24

分类专栏： C# 文章标签：数据下载工具气象 wget

本文链接：https://blog.csdn.net/giser_whu/article/details/43378465

版权

C# 专栏收录该内容

20 篇文章

订阅专栏

由于项目需要，需要下载站点的降雨量和蒸散发数据，但是这网站做的又特别不人道，超过50M数据量无法直接下载，需要定制，定制后说提供ftp下载，尼玛打开定制记录，一条条记录在哪摆着，说好的ftp呢，一个个下这还不得点死。还好借用wget可以较容易实现批量下载，但这期间也遇到了不少问题，刚下没几条，就提示“当前下载用户过多，请稍后下载”，那就等吧，尼玛劳资凌晨起来下数据，还给提示这个，这是做的什么破玩意，还让不让下数据了，一气之下就用账号留了言，然后发了伊妹儿，果然第二天就可以稳当下数据了。。一步步来看如何实现数据的批量下载。

（1）登陆后点击定制记录可以看到摆着的一条条数据文件名，如下图所示。

（2）点击F12查看网页源码，如下图所示，可以看到每一条数据的下载地址和数据文件名；把整个网页的源码复制粘贴到一个新建的txt文本文件中，只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来，这里已经写好，会和wget一起打包共享给大家。

（3）提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn；提取的下载文件具体格式为：<下载地址><空格><文件名>，将文件保存在批量下载工具根目录即可，文件名为cma_src.txt,如下图所示

（4）使用wget批量下载数据

新建一个wget.bat文件，输入以下代码：

@echo off
.\wget-1.11.4-1-bin\bin\wget --post-data="userid=your_user_id&password=your_password" --save-cookies=cookie_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"

for /F "tokens=1*" %%i in (cma_src.txt) do (
.\wget-1.11.4-1-bin\bin\wget --load-cookies=cookie_wget -c %%i -O .\data\%%j
)

需要修改的是用户名和密码，然后点击双击运行即可实现数据的批量下载。