ERA5数据多线程下载脚本

已于 2022-08-10 15:03:00 修改
阅读量932 收藏 9
点赞数 2
分类专栏： 数据处理 文章标签： python
于 2022-06-26 11:53:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60678566/article/details/125468031
版权

 ERA5数据是欧洲中心发布的第五代全球天气气候再分析资料，可以获取1950至今的逐日逐小时再分析资料，对于新手来说，在网页上申请门槛较低，但是如果要获取大量的请求，那用Python脚本下载是更好的选择

 ERA5 单层月平均再分析数据https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-single-levels-monthly-means?tab=overview

用Python脚本下载ERA5数据，只要写好了下载请求的字典，一键发起请求+下载，免去在网页上操作、等待申请通过、点击下载、下载后重命名文件的一系列麻烦，这些都可以在Python上用一个脚本实现

根据网上找的脚本改了一下，实现根据时间、区域、变量、气压层搭配下载，只要根据需求自己改下文件命名规则和需要的时间、区域、变量、气压层就可以了（注释有提示）

单层数据（single-level）

from queue import Queue
from threading import Thread
import cdsapi
from time import time,strftime,localtime
import datetime
import os
from dateutil.relativedelta import relativedelta
from requests import request
# os.chdir("E:\\ResearchData\\20190527\\ERA5")
os.chdir(r"E:\ResearchData\download")

# 设置文件名函数（根据需求改）
def set_filename(request_dict):

    # 东西半球（根据需求改，这里举例分东西半球分别下载）
    if int(request_dict['area'][1])<0:
        ew='w'
    else:
        ew='e'

    # 请求的变量（根据需求改，这里举例请求3个变量，每个变量分别下载）
    if request_dict['variable'] == ['mean_sea_level_pressure']:
        var = 'mslp'
    elif request_dict['variable'] == ['2m_dewpoint_temperature']:
        var = 'td'
    elif request_dict['variable'] == ['2m_temperature' ]:
        var = 't'

    # 生成文件名
    filename=f"era5_monthly_{var}_{request_dict['year'][0]}_{request_dict['year'][-1]}_{ew}.nc"

    return filename
  



# 下载请求函数
def downloadonefile(request_dict):
    
    filename=set_filename(request_dict)

    if(os.path.isfile(filename)): #如果存在文件名则返回
        print("ok",filename)

    else:
        print(f'{filename} begin \n')
        c = cdsapi.Client()
        c.retrieve(
            'reanalysis-era5-single-levels-monthly-means', #根据数据集名称改
            request_dict,
            filename)
        print(f'\n {filename} finish \n')




#下载脚本 
class DownloadWorker(Thread):
    def __init__(self, queue):
        Thread.__init__(self)
        self.queue = queue
    
    def run(self):
        while True:
            # 从队列中获取任务并扩展tuple
            request_dict = self.queue.get()
            downloadonefile(request_dict)
            self.queue.task_done()


#主程序 
def main():
    #请求字典
    request_dict={
                'format'       : 'netcdf',
                'product_type' : 'monthly_averaged_reanalysis',
                'variable'     : [],
                'year'         : [],
                'month'        : ['01', '02', '03','04', '05', '06','07', '08', '09','10', '11', '12',],
                'time'         : '00:00',
                # 'area'         : [60, -180, -50,-60,], # North, West, South, East. Default: global
                }
    
    #起始时间
    ts = time()
    #起始日期
    begin = datetime.date(1959,1,1) 
    end = datetime.date(2020,12,31)
    d=begin
    #    delta = datetime.timedelta(days=1)
    #    delta = relativedelta(months=1)
    delta = relativedelta(years=10)  #根据需求改，设置每隔多久的数据存放一个文件，这里举例每10年存在一文件

    # 生成时间列表（根据需求改）
    times=[]
    while d <= end:
        riqi=d.strftime("%Y%m%d")
        times.append(str(riqi))
        d += delta
    
    # 生成经纬度列表（根据需求改,这里举例分东西半球下载）
    areas = [[60, -180, -50, -60,],[60, 30, -50, 180,]]

    # 生成变量列表（根据需求改,这里举例请求3个变量，每个变量存放一个文件）
    variables = [['mean_sea_level_pressure'],
                 ['2m_dewpoint_temperature'],
                 ['2m_temperature' ]]

    #建立下载序列
    links = []
    for riqi in times:
        for area in areas:
            for variable in variables:   #根据需求改
                request_dict.update(year=[str(int(riqi[:4])+i) for i in range(10)],  #根据需求改，这里举例每10年数据存在一文件
                                    area=area,
                                    variable=variable,
                                    )
                links.append(request_dict.copy())
       
    #创建一个主进程与工作进程通信
    queue = Queue()

    # 20191119更新# 新的请求规则 https://cds.climate.copernicus.eu/live/limits
    # 注意，每个用户同时最多接受4个request https://cds.climate.copernicus.eu/vision
    #创建四个工作线程
    for x in range(4):
        worker = DownloadWorker(queue)
        #将daemon设置为True将会使主线程退出，即使所有worker都阻塞了
        worker.daemon = True
        worker.start()
        
    #将任务以tuple的形式放入队列中
    for link in links:
        queue.put((link))

    #让主线程等待队列完成所有的任务
    queue.join()

    #获取当前时间 ，并以当前格式显示
    timeshow = strftime('%Y-%m-%d %H:%M:%S',localtime(time()))  
    print(timeshow)
    # 显示总共需要时间
    print('Took {} s'.format(time() - ts))

if __name__ == '__main__':
   main()

气压层数据（pressure-levels），与单层数据大同小异，只是加上了气压层这个变量，注释就不写这么详细了

from queue import Queue
from threading import Thread
import cdsapi
from time import time,strftime,localtime
import datetime
import os
from dateutil.relativedelta import relativedelta
from requests import request
# os.chdir("E:\\ResearchData\\20190527\\ERA5")
os.chdir(r"E:\ResearchData\download")

# 设置文件名函数（根据需求改）
def set_filename(request_dict):
    
    # 东西半球
    if int(request_dict['area'][1])<0:
        ew='w'
    else:
        ew='e'

    # 请求的变量（根据需求改）
    if request_dict['variable'] == ['geopotential']:
        var = 'hgt'
    else:
        var = 'uvw'

    # 生成文件名
    filename=f"era5_monthly_{var}_{request_dict['year'][0]}-{request_dict['year'][-1]}_{ew}.nc"

    return filename
  

# 下载请求函数
def downloadonefile(request_dict):
    
    filename=set_filename(request_dict)

    if(os.path.isfile(filename)): #如果存在文件名则返回
        print("ok",filename)

    else:
        print(f'{filename} begin \n')
        c = cdsapi.Client()
        c.retrieve(
            'reanalysis-era5-pressure-levels-monthly-means-preliminary-back-extension',  #根据数据集名称改
            request_dict,
            filename)
        print(f'{filename} finish \n')

    
#下载脚本 
class DownloadWorker(Thread):
    def __init__(self, queue):
        Thread.__init__(self)
        self.queue = queue
    
    def run(self):
        while True:
            # 从队列中获取任务并扩展tuple
            request_dict = self.queue.get()
            downloadonefile(request_dict)
            self.queue.task_done()


#主程序 
def main():
    #请求字典
    request_dict={
                'format'        : 'netcdf',
                'product_type'  : 'reanalysis-monthly-means-of-daily-means',
                'variable'      : [],
                'pressure_level': [],
                'year'          : [],
                'month'         : ['01','02','03','04','05','06','07','08','09','10','11','12',],
                'time'          : '00:00',
                # 'area'          : [60, -180, -50,-60,], # North, West, South, East. Default: global
                }
    
    #起始时间
    ts = time()
    #起始日期
    begin = datetime.date(1950,1,1) 
    end = datetime.date(1958,12,31)
    d=begin
    # delta = datetime.timedelta(days=1)
    # delta = relativedelta(months=1)
    delta = relativedelta(years=10)   #根据需求改，设置每隔多久的数据存放一个文件
    
    # 生成时间列表（根据需求改）
    times=[]
    while d <= end:
        riqi=d.strftime("%Y%m%d")
        times.append(str(riqi))
        d += delta
    
    # 生成经纬度列表（根据需求改）
    areas = [[60, -180, -50,-60,],[60, 30, -50,180,]] # North, West, South, East. Default: global

    # 生成变量列表（根据需求改）
    variables = [['u_component_of_wind', 'v_component_of_wind', 'vertical_velocity',],['geopotential']]

    # 生成高度层列表（根据需求改）
    pressure_levels  = [['100', '125', '150','175', '200', '225','250', '300', '350',
                         '400', '450', '500','550', '600', '650','700', '750', '775',
                         '800', '825', '850','875', '900', '925','950', '975', '1000',],
                        ['100','500']
                       ]

    #建立下载序列
    links = []
    for riqi in times:
        for area in areas: 
            for variable,pressure_level in zip(variables,pressure_levels):  #根据需求改，这里举例的是变量和气压层搭配
                request_dict.update(year=[str(int(riqi[:4])+i) for i in range(9)], #根据需求改
                                    area=area,
                                    variable=variable,
                                    pressure_level=pressure_level,
                                    )
                links.append(request_dict.copy())
        
    #创建一个主进程与工作进程通信
    queue = Queue()

    # 20191119更新# 新的请求规则 https://cds.climate.copernicus.eu/live/limits
    # 注意，每个用户同时最多接受4个request https://cds.climate.copernicus.eu/vision
    #创建四个工作线程
    for x in range(4):
        worker = DownloadWorker(queue)
        #将daemon设置为True将会使主线程退出，即使所有worker都阻塞了
        worker.daemon = True
        worker.start()
        
    #将任务以tuple的形式放入队列中
    for link in links:
        queue.put((link))

    #让主线程等待队列完成所有的任务
    queue.join()

    #获取当前时间 ，并以当前格式显示
    timeshow = strftime('%Y-%m-%d %H:%M:%S',localtime(time())) 
    print(timeshow)
    # 显示总共需要时间
    print('Took {} s'.format(time() - ts))

if __name__ == '__main__':
   main()

参考：

https://mp.weixin.qq.com/s/lOQ_6s8grFSY3TU6XcnO8w
https://github.com/jiangleads/Get_ECMWF_Data

http://t.csdn.cn/BAL6R

欢迎交流

祝大家科研顺利~

源木求渔
关注
专栏目录
29、号外！号外！ERA5再分析数据下载方式更新啦
小兔子乖乖
08-12 1134
最近，更新ERA5月尺度再分析数据时，发现页面上出现了下面的提示：系统提示，从2024年9月份开始，原有的ERA5下载方式将停止工作，2024年9月份以后，需要使用CDS-Beta方式进行ERA5数据的下载。下面，将详细介绍如何使用CDS-Beta下载ERA5再分析数据，以及使用过程中可能会遇到的问题。
【PyGIS】使用cdsapi下载ERA5和ERA5_land逐小时数据并读取
```On Earth, Be Water, By Coding```
07-03 1245
再分析将模型数据与来自世界各地的观测数据结合起来，使用物理定律形成一个全球完整和一致的数据集。这一原理被称为数据同化，其基础是数值天气预报中心所使用的方法，即每隔若干小时（欧洲中期天气预报中心为12小时），将先前的预报与最新的观测结果以最佳方式结合起来，以产生对大气状态的新的最佳估计，称为分析，根据分析，发布更新的、改进的预报。再分析以相同的方式工作，但分辨率降低，以允许提供跨越几十年的数据集。再分析没有发布及时预报的限制，因此有更多的时间来收集观测结果，并且在时间上进一步回溯时，允许摄取原始观测结果的改进
关于ERA5再分析逐小时数据中的变量expver
CHEN_BR/BLOG
01-11 6149
来源 http://bbs.06climate.com/forum.php?mod=viewthread&tid=99863 最近又开始使用ERA5的该数据集下载到了2021 发现出现expver变量 不是很理解它选1或者5的意思 用python尝试选了下读出来都有问题 我是想把位势和温度逐小时数据处理成日均数据 想请问一下大家在出现这个变量是怎么处理的 ERA5 hourly data on pressure levels from 1979 to present 2021年的数据有expver
科研训练2：ERA5数据下载的三种方法
最新发布
m0_57037968的博客
12-04 1万+
ERA5数据手动下载、python脚本下载、在线toolbox下载
基于Python的ERA-5多线程下载(1)
VictoriaLy的博客
01-21 2393
目录动机一、正文Ubuntu需要多加的几行代码 动机 恩师推荐，我的论文可以用到相关数据，然后就对相关数据下载方式调研，在这里做笔记！！！！ 提示：以下是本篇文章正文内容，案例可供参考 一、正文 Ubuntu需要多加的几行代码 引用（虽然代码不多，但是以我的能力不可能独立完成，90%参考，然后根据我的习惯稍微修改了一下下）： https://mp.weixin.qq.com/s/lOQ_6s8grFSY3TU6XcnO8w https://github.com/jiangleads/Get_EC..
多线程批量下载ERA5逐日数据
卷心没有菜
09-28 1340
傻瓜式一键下载ERA5逐日数据，注意是逐日数据，逐日，逐日，逐日！
利用python下载数据_使用python并行下载ERA5数据的方法
weixin_39775872的博客
11-25 560
from queue import Queuefrom threading import Threadimport cdsapiimport timefrom datetime import datetime, timedeltaimport os, globfrom multiprocessing import Pooldownload_dir = os.getcwd()def download...
ERA5数据批量下载-多进程
慧慧的博客
11-21 2197
本人之前的博客中介绍了批量下载ERA5数据的方法，在这里再此对方法进行优化，采用多进程下载。采用的Python 的Multiprocessing。 可以根据需求选择相应的参数、空间范围、分辨率、时间等等。 __author__ = "LNH" import cdsapi import numpy as np import calendar import os from multiprocessing import Process def download(c, var, year, month, da
Python 批量下载 ERA-5 Reanalysis 数据
小小学渣的博客
05-21 2439
ECMWF大气再分析数据集 ERA-interim 已被ERA-5 数据集取代，ERA-5 详细信息看这里 下面介绍下载的具体步骤： 1. 要下载 ERA-5 数据集，需要先注册一个 CDS 账号。登录之后进入Climate Data Store API 页面复制自己的 key 和 url，如下图 2. 创建 .cdsapirc 文件，windows系统就是自己的用户目录下面，linux就是根目录，内容为自己的 key 和 url，示例如下图 3....
python处理era5_python环境下实现ERA5逐小时数据的自动下载和简单处理
weixin_39969006的博客
11-29 1174
ERA5提供的下载代码#!/usr/bin/env pythonimport cdsapic = cdsapi.Client()c.retrieve('reanalysis-era5-land',{'format': 'netcdf','variable': ['2m_temperature', 'leaf_area_index_high_vegetation', 'leaf_area_index...
01读文献并下载数据
qq_23435961的博客
01-08 331
01读文献并下载数据 阅读文献 本 文分析的数据来自于文章：Reliability of Whole-Exome Sequencing for Assessing Intratumor Genetic Heterogeneity, Shi et al., 2018, Cell Reports https://doi.org/10.1016/j.celrep.2018.10.046 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NjX4pXbq-1589967544203)(
ht17a049-cpp2
02-10
【标签】"C++"表明这个项目专注于C++编程语言，涵盖了C++的语法、数据结构、算法、面向对象编程（OOP）、模板、STL（Standard Template Library）、异常处理、多线程、文件I/O等概念。C++是一种强大的、通用的编程...
ERA5数据下载
热门推荐
alonso的专栏
05-17 2万+
本帖最后由 alonso_ecit 于 2019-5-8 18:41 编辑 CDS官方给出了下载ERA5文件的说明，见链接如下：https://cds.climate.copernicus.eu/api-how-to，此处结合windows下具体情况给出相关配置。 1.注册cds账号：https://cds.climate.copernicus.eu/ 注册完毕后会生成U...
python处理era5_ERA5数据python下载教程（Windows用户）
weixin_35651855的博客
02-10 2155
具体的教程官网有提供，想看详细信息可以参考：https://confluence.ecmwf.int/display/CKB/How+to+install+and+use+CDS+API+on+Windows这里提供一个简单的教程供大家参考：1.注册账号：https://cds.climate.copernicus.eu/#!/home2.安装python，这里提供一下下载链接：https://p...
ERA5数据下载的那些事
emily秦静的博客
02-21 7590
ERA5数据下载那些事基本操作常见问题汇总资源分享新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 基本操作 近年做的数据处理都是气象气候数据，最近需要处理ERA5的suface data（以下简称2D数据）和pressur
ERA5数据下载和批处理教程
twg666的博客
09-10 1万+
ERA5再分析数据是最新一代的再分析数据，由欧盟资助的哥白尼气候变化服务（C3S）创建，由 ECMWF 运营。同化了包括全球范围内不同区域和来源的遥感资料、地表与上层大气常规气象资料。ERA5再分析资料提供了许多种类的要素，包括 2m 温度、2m 相对湿度、海平面气压、10m 风等地面要素以及温度、相对湿度、位势高度、风场等高空要素。
ERA5气象数据下载经验分享
weixin_61281699的博客
01-05 1万+
windos系统下ERA5数据三种下载方式介绍
era 数据下载需要注意的问题
hengcall的博客
08-03 5890
首先附上官网的解释，有兴趣可看： https://confluence.ecmwf.int/pages/viewpage.action?pageId=56658233 这张图说的非常清楚： 对steps选择的疑问：     从 00:00  12:00 出发, 分别有：3, 6, 9,  12 这几个步长可选，例如选0，3，代表从0点开始，到三点的值。如果下载降水就是累积降水，下载温...
python处理era5_如何保存为每日文件而不是每月（Python、ERA5、ECMWF）
weixin_39546501的博客
11-29 557
这是我目前使用API检索数据的脚本，目标是“每月”文件。我需要缩小一个文件的大小，以腾出时间准备和传输数据。主要通过尝试在日常文件中定位/写入，例如…..20151001.grib。在由于我是Python的初学者，我在这里发帖希望有人愿意帮助我改进这个脚本，主要考虑目标/编写文件。在谢谢你！/约瑟芬#!/usr/bin/env pythonimport calendarfrom ecmwfapi ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值