IDM下载CIMAP6-CORDEX data
前言
cordex常规下载通常都是用wget下载,wget下载速度比较缓慢。因此参考知乎用户呆头灰鸟写的《使用IDM下载器批量下载CMIP6数据的流程》。网页链接:https://zhuanlan.zhihu.com/p/164812122
尝试进行cordex数据的下载
一、注册CIMAP6
划重点:在如下网址选择需要加入的项目。
https://esg-dn1.nsc.liu.se/projects/esgf-liu/
由于我需要下载cordex的项目,因此我需要join CORDEX。随后创建账户获得openid,并选择自己要下载的数据。
必须要注册CORDEX GROUP group链接
随后就可以成功下载了
二、批量下载cordex data
1.选择数据集,生成wget
2.生成下载链接
将wget-xxxxxx.sh里面的链接信息全部复制生成新的txt文本。利用下列代码生成纯链接文本。
代码如下(示例):
if __name__ == '__main__':
fw = open("E:\\CORDEX-TP\\REMO1.txt", 'w') # 创建url保存文件
with open("E:\\CORDEX-TP\\remo.txt", 'r') as fr: # 读取所有下载链接信息
for line in fr.readlines(): # 按行读取
line = line.strip('\n').split(' ') # 去掉换行符并分割
url = line[1].replace("'", '') # 清洗并获取待下载地址
fw.writelines(url + '\n') # 将下载地址写入保存文件中
fw.close() # 关闭文件
IDM批量下载CIMAP6
总结
采用IDM能够很好地增强下载速度,提高下载速率。tips:要想成功下载cordex数据一定要注册相应group。