【Wget、MATLAB】关于批量下载GPM IMERG数据的保姆级教程(20210129)(20210214更新)

这篇博客详细介绍了如何批量下载GPM IMERG的降水数据,包括通过NASA网站和GES DISC两种途径。在NASA网站上,需要注册账号并选择数据;在GES DISC,需注册并获取下载链接。下载方法涉及Wget的使用,如检查版本、创建文本文件批量下载,以及MATLAB的websave函数,还提供了针对下载问题的解决策略和代码更新。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


首先感谢 1. 批量下载GPM数据 by wangsy~这位大佬的文章,给我提供了很多帮助。
最终我是在GES DISC下载的数据,不过后来我写的时候又试了NASA又能用了。
这里就写一点大佬没提到的,顺便记录一下。
(PS:总之就是非常难下555~)

一、找到GPM数据

(一)NASA

页面变化成了下面这样:link
在这里插入图片描述
我要下载的是IMERG的降水数据,所以是LEVEL 3的Final Run,直接拉到中间的地方(如果没加载出来就等一下或者刷新几次)。

选择被红框框起的链接点进去(需要登陆NASA账号验证身份)。
在这里插入图片描述
在这里插入图片描述
验证邮箱:
在这里插入图片描述
然后会出现下面的部分
在这里插入图片描述
选择你需要的数据,起止时间,文件格式,下载方法
在这里插入图片描述
在这里插入图片描述
点击之后出现:
注意:点击总共两次,第一次出现提醒并给你发第一封邮件,需要你点击确认链接,然后再点一次submit request,会收到一封带附件的邮件,附件里是下载地址。
在这里插入图片描述

(二)GES DISC方法

官网链接:link
使用这个方法请注册NASA和GES DISC账号。

搜索IMERG,正好第一个就是我需要的,点击Subset/Get Data.在这里插入图片描述选择起止时间,格式,确定。
在这里插入图片描述
之后会生成下载地址,等到①处达到100%时,就可以点击③处下载文本文件(txt),里面是所有的下载链接。
②处是关于下载的一些提示。
在这里插入图片描述

二、下载数据

(一)Wget方法

要点如下:
1、wget使用一定要好好看说明,链接附上(建议使用chrome直接翻成中文)

(1)
如果使用wget,请安装符合gnuTLS 3.3.3或OpenSSL 1.0.2或LibreSSL 2.0.2或更高版本的wget 1.18。使用“ wget -V”命令验证wget版本。
如果使用curl,请安装符合gnuTLS 3.3.3或OpenSSL 1.0.2或LibreSSL 2.0.2或更高版本的curl 7.45。使用“ curl -V”命令验证curl版本。
(2)
要一次下载多个数据文件,请创建一个纯文本<url.txt>文件,每行包含一个GES DISC数据文件URL。然后,输入以下命令:

wget --load-cookies C:.urs_cookies --save-cookies C:.urs_cookies --auth-no-challenge=on --keep-session-cookies --user= --ask-password --content-disposition -i <url.txt>

这两段话非常重要
我个人是直接下载了wget1.18,并且采用了开头的链接中最后提到的命令(将ask-password改成了password=)
链接:
wget for Windows
How to resolve data download problems

2、记得在GES DISC里面添加Approved Applications。
①https://urs.earthdata.nasa.gov/users/

### 使用 WGET 编写脚本批量下载 CMIP6 数据 为了实现通过 `wget` 批量下载 CMIP6 数据的目标,可以按照以下方式构建脚本。以下是详细的说明: #### 脚本设计思路 1. **获取目标 URL 列表**:CMIP6 数据通常托管在特定的 FTP 或 HTTP 服务器上。可以通过访问官方资源页面或 API 获取这些文件链接。 2. **自动化下载流程**:利用 `wget` 的递归功能或其他参数设置,完成多个文件的自动下载。 --- #### 示例脚本 以下是一个基于 Bash 和 `wget` 的批处理脚本示例,用于下载指定目录下的 CMIP6 文件。 ```bash #!/bin/bash # 定义变量 BASE_URL="https://esgf-node.llnl.gov/thredds/fileServer/cmip6/" # 替换为目标节点的实际路径[^1] OUTPUT_DIR="./cmip6_data" # 输出保存目录 LOG_FILE="download_log.txt" # 日志文件名 # 创建输出目录 mkdir -p "$OUTPUT_DIR" # 记录日志函数 log_message() { echo "$(date '+%Y-%m-%d %H:%M:%S') $1" >> "$LOG_FILE" } # 开始下载逻辑 for FILE_PATH in $(cat urls_list.txt); do # 假设有一个包含所有URL的列表文件 FULL_URL="${BASE_URL}${FILE_PATH}" OUTPUT_PATH="$OUTPUT_DIR/${FILE_PATH}" log_message "正在尝试下载: ${FULL_URL}..." mkdir -p "$(dirname "${OUTPUT_PATH}")" # 确保子目录存在 wget --no-check-certificate -c -O "$OUTPUT_PATH" "$FULL_URL" || \ log_message "下载失败: ${FULL_URL}" # 如果失败则记录错误 done log_message "全部任务已完成!" ``` --- #### 参数解释 - `-c`: 断点续传模式,支持部分已下载的内容继续传输。 - `--no-check-certificate`: 忽略 SSL/TLS 证书校验(适用于某些不安全连接场景)。 - `-O`: 将下载内容保存到指定文件路径。 上述脚本假设用户已经准备了一个名为 `urls_list.txt` 的文件,其中每行包含一个相对路径指向具体的 CMIP6 数据集。 --- #### 注意事项 1. **权限管理**: 部分 ESGF (Earth System Grid Federation) 节点可能需要登录认证才能访问受限数据集合。此时需额外配置 `.netrc` 文件或者传递用户名/密码作为参数给 `wget` 工具。 ```bash wget --http-user=your_username --http-password=your_password ... ``` 2. **网络稳定性**: 对于大规模数据集而言,建议在网络条件较好的环境下运行此脚本,并启用断点续传机制以减少重复劳动成本。 3. **存储空间规划**: 提前估算所需磁盘容量并预留充足余量以免中途因满载而中断操作过程。 ---
评论 27
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值