2021-11-09

GPM降水数据批量下载

1. 数据下载网址 ，https://disc.gsfc.nasa.gov/
   界面如下：
   例如输入rainfall GPM进行搜索,结果如下：
   
   向下找到GPM数据
   数据空间分辨率是0.1°×0.1°；
   时间分辨率是30min；day；month；
   数据有Early，Late，Final三种，
   发布时间不一样，前两种近乎实时（官网说是4h左右，但其实好像并不是，比如2021年11月9日早上10点看，截图如下，early和late只能下载到11月7日的，我太菜了，还没搞明白数据具体啥时候更新，可能欧洲时差？）
   
   

最后一种-final一般需要好几个月，如图，是2021年11月9日早上10点左右的截图。发布时间晚但数据质量应该比early、late要好

2. 下载链接获取
   根据时间分辨率和产品发布时效，选择自己目标数据集，比如30min，final。
   点进去，再点Subset/Get Data
   
   会弹出来，数据选择
   
   第一个是download methed，有三种选择，
   一是原始数据，只能选择时间范围，不能进行空间范围选择，而且文件格式是HDF5；
   第二种，可进行时间范围选择，空间范围选择，变量选择，数据格式选择（二进制ASC||，nc），有一个dimensions选择，但是我也没搞明白；
   第三种可进行时间范围选择，空间范围选择，变量选择，grid选择（就是要不要插值到别的分辨率），数据格式只有nc。
   
   空间范围选择，点左边的画笔，然后就直接在右边框一个区域（就跟电脑自带的截图一样）；也可以自己手动在上面经纬度范围一栏修改
   
   这里以第三种为例，选择一天，随便框了一个范围，选择一个变量，不做插值grid，
   
   然后点击Get Data，就会根据自己的选择去筛选数据
   
   我这里选择的数据少，所以几秒钟就好了，如果数据多，可能多等一会，结果如下
   
   然后download links list，下载一个txt，里面是所有数据的下载链接，如图，第一行和第二行是数据说明pdf，第三行开始是数据链接
3. 注册账号并授权
   官方教程：https://disc.gsfc.nasa.gov/earthdata-login
   点击第一行的网址https://urs.earthdata.nasa.gov/，选择注册，
   
   填写账户名，密码，还有自己的信息，然后就到最下面了，有个人机身份验证，但是国内科学上网操作不了。。。
   
   如果可以验证，点下面注册就好了。
   授权，就按照官方教程：https://disc.gsfc.nasa.gov/earthdata-login继续就可以了， 网页有截图说明。
4. 批量下载数据
   我是ubuntu子系统，anaconda，

conda activate your-environment-name
pip install data_downloader

然后就在用户目录创建.netrc文件

vi .netrc

按i进入编辑模式，输入(如果想复制粘贴，先复制，然后右键即可粘贴)

machine urs.earthdata.nasa.gov login zhanghuming password 12345 

然后按esc键退出编辑模式，shift+冒号，输入wq退出并保存文件。

批量下载

from data_downloader import downloader, parse_urls
#下载数据到什么路径
folder_out = r'/mnt/f/data/test/1/'
# 包含url的txt文件路径
url_file = r"/mnt/f/data/test/20211109-test.txt"    
urls = parse_urls.from_urls_file(url_file)
downloader.download_datas(urls, folder_out)

就可以下载了
下载下来就是默认那种文件名
3B-HHR.MS.MRG.3IMERG.20210731-S013000-E015959.0090.V06B.HDF5.SUB.nc4
很长，如果想自定义文件名，比如设置成对应时间202107310130.nc，可以参考下面放的第二篇博客，有一个读取txt文档，有一个函数createDictForGPM，是读取txt文档，然后输出时间信息和下载链接一一对应的字典，
参考其下载部分，将文件名设置成GPM数据时间信息
本文参考两篇博文
https://blog.csdn.net/qq_27386899/article/details/104533226?utm_source=app&app_version=4.13.0&utm_source=app

https://blog.csdn.net/zhangzhe_0305/article/details/117121582?utm_source=app&app_version=4.13.0&utm_source=app