（IPCC6）CMIP6 数据批量下载，边下边裁剪

听风阁主

已于 2022-08-25 00:29:26 修改

阅读量667

点赞数 1

分类专栏：数据下载文章标签：数据库

于 2022-08-21 14:41:06 首次发布

本文链接：https://blog.csdn.net/weixin_43388193/article/details/126450779

版权

数据下载专栏收录该内容

4 篇文章 2 订阅

订阅专栏

本文介绍了使用Python进行CMIP6数据下载时遇到的问题，如部分文件下载失败，以及如何通过`LogonManager`和多进程池处理。提到的挑战包括网络不稳定和个别机构的数据获取问题，最后展示了处理代码片段和进度显示。

摘要由CSDN通过智能技术生成

###### 不要用代理，代理来了不能用，草他妈的！
import pandas as pd
import xarray as xr
from multiprocessing import Pool
import os
from pyesgf.logon import LogonManager
lm = LogonManager()
lm.is_logged_on()

def mkdir(path):

def CMIP6_download(file, IPCC_folder, try_download_num):

def CMIP6_creatMutil_download(file_list, IPCC_folder, pool_pre_num, try_download_num):


if __name__ == '__main__':
    folder = os.path.join("K:\IPCC6\\nc2")
    for  csv in [x for x in os.listdir(folder) if x.endswith(".csv")][-16:]:
        print(csv)
        path = os.path.join(folder, csv)
        df = pd.read_csv(path)
        # print(df.columns)
        file_list = df["url"].tolist()

        file_list2 = []
        for i in file_list:
            # print(i)
            file_name = str(i).split("/")[-1]
            print(file_name)
            if os.path.exists(os.path.join(folder, csv.split("_")[0], file_name)):
                pass
            else:
                file_list2.append(i)
        IPCC_folder = os.path.join("K:\\IPCC6\\nc2\\", csv.split("_")[0])

        #note  开启多进程进行下载

        file_list = file_list2
        IPCC_folder = IPCC_folder
        try_download_num = 1
        pool_pre_num = 40
        CMIP6_creatMutil_download(file_list, IPCC_folder, pool_pre_num, try_download_num)

中间有一些机构的下不到，这都是正常现象

比如：