批量下载ISCCP D2的hdf格式数据

ISCCP数据集介绍可见：国际卫星云气候计划ISCCP
ISCCP官网：International Satellite Cloud Climatology
Project 利用ISCCP
D2资料分析近20年全球不同云类云量变化的变化及其对气候可能的影响：论文链接
利用D2数据对云分析的各种图（来自官网）：cloud Data Analysis to Understand Climate
ISCCP的GPC数据下载链接：GPC格式
ISCCP的hdf数据下载链接：hdf格式

Requirements

linux系统下
conda环境
python3
要求安装好requests库

批量下载前的准备

1.配置好python环境和requests库

conda install requests

2.Bash的身份验证

cd ~
touch .netrc
echo "machine urs.earthdata.nasa.gov login $USERNAME password $PASSWORD" > .netrc
chmod 0600 .netrc
touch .urs_cookies

hdf下载的python脚本

由于1983-1993年的文件名为3hrlymon_198306,1994之和的文件名为ISCCP.D2.0.GLOBAL.1994.02.99.9999.GPC.hdf或者ISCCP.D2.1.GLOBAL.1994.02.99.9999.GPC.hdf或者ISCCP.D2.2.GLOBAL.1994.02.99.9999.GPC.hdf这种类型的名字，下载的时候要自己甄别，修改url。
下载完成后的文件全部用ISCCP.D2.0.GLOBAL.1994.02.99.9999.GPC.hdf这种类型的文件名字存储好。

from requests import Session
session = Session()
session.auth = ('username', 'password')
for year in range(1983,1994):
    for mon in range(1,13):
        url='https://asdc.larc.nasa.gov/data/ISCCP/D2/'+str(year)+'/'+'{0:02d}/'.format(mon)+'d2_3hrlymon_'+str(year)+'{0:02d}'.format(mon)
        file_name='/mnt/d/research_work/cloudkernel/cloud-radiative-kernels-master/data/temp/'+'ISCCP.D2.0.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'
        print(url)
        print(file_name)
        _redirect = session.get(url)
        _response = session.get(_redirect.url)
        with open(file_name, 'wb') as file:
            file.write(_response._content)
for year in range(1995,2000):
    for mon in range(1,13):
        url='https://asdc.larc.nasa.gov/data/ISCCP/D2/'+str(year)+'/'+'{0:02d}/'.format(mon)+'ISCCP.D2.1.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'
        file_name='/mnt/d/research_work/cloudkernel/cloud-radiative-kernels-master/data/temp/'+'ISCCP.D2.0.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'
        print(file_name)
        _redirect = session.get(url)
        _response = session.get(_redirect.url)
        with open(file_name, 'wb') as file:
            file.write(_response._content)