如何使用python访问ECMWF公共数据集

最新推荐文章于 2024-09-26 15:30:05 发布
最新推荐文章于 2024-09-26 15:30:05 发布
阅读量1w 收藏 21
点赞数 3
分类专栏： Python 文章标签： ECMWF Python
1.安装ECMWF KEY
  1. 如果您没有帐户，请通过https://apps.ecmwf.int/registration/  进行自我注册，然后转到以下步骤。

  2. 登录https://apps.ecmwf.int/auth/login/

  3. 通过https://api.ecmwf.int/v1/key/  获取密钥 

    请注意，该密钥在1年内到期。您将在到期日期前1个月收到注册电子邮件地址的电子邮件，并附上续订说明。要查看当前密钥登录的到期日期，请访问www.ecmwf.int

  4. 复制此页面中的信息，并将其粘贴到文件  $ HOME / .ecmwfapirc（Unix / Linux）或％USERPROFILE％\ .ecmwfapirc（Windows;

  5. 如何创建前导点文件？

    重命名

    • 创建 file.txt
    • 重命名.file.，最后一个点将被删除，你就得到.file
    • 这里我们需要 创建  .ecmwfapirc 文件 ，并将下面内容拷贝进去
    • 上面的文件放在 %USERPROFILE%下，这里这个路径可以在用户变量中找到，本人电脑用户名为Cronous 路径为 C:\Users\Cronous
    • 所以将 .ecmwfapirc 放在上面路径下面

$ HOME / .ecmwfapirc（Unix / Linux）或％USERPROFILE％\。ecmwfapirc（Windows）的内容
{
    "url"   : "https://api.ecmwf.int/v1",
    "key"   : "XXXXXXXXXXXXXXXXXX",
    "email" : "example@123.com"
}
2.安装客户端库

该版本的库提供对Python 2.7.x和Python 3的支持。

您可以ecmwfapi 通过在Unix / Linux上运行来安装  python库：

sudo  pip  install  https: //software .ecmwf.int /wiki/download/attachments/56664858/ecmwf-api-client-python .tgz

或在Windows上：

如果您无法运行sudo或pip命令，只需下载  ecmwf-api-client-python.tgz。提取其内容并将模块复制ecmwfapi到环境变量指向的目录中PYTHONPATH。

3.检查数据可用性

要查看ECMWF Public Datasets的可用性，请访问Web界面：

http://apps.ecmwf.int/datasets/

使用此界面，您可以  发现我们存档中提供的所有ECMWF公用数据集。我们强烈建议您浏览我们的公共数据集以熟悉其可用性。您可以选择一个公共数据集，并开始浏览其内容。 

请考虑有关内容的一些注意事项：

  • 不同的ECMWF公共数据集包括不同的“参数”，“时间”和“步骤”  
  • 在每个  ECMWF公共数据集中，并非所有“参数”都可以从所有“步骤” 
  • 在每个  ECMWF公共数据集中，并非所有“时间”都提供所有“步骤”

上面的Web界面将帮助您检查和了解可用性。对于任何类型的选择，系统将以动态方式更新属性以反映当前的可用性。（即如果您更改步骤，一些参数将被添加或删除）。

小费

选择完成后，我们鼓励用户使用页面底部的 “ 查看MARS请求 ” 功能。使用这个MARS请求，你可以建立自己的Python脚本。
这里说一下查看MARS请求可以自动生成python脚本样例文件，我们可以对照着学习一下，如下面的我选择的数据源：

自动生成的python脚本如下： 
For more information on how to retrieve data programmatically, in Python, please go to Access ECMWF Public Datasets.

#!/usr/bin/env python
from ecmwfapi import ECMWFDataServer
server = ECMWFDataServer()
server.retrieve({
    "class": "ti",
    "dataset": "tigge",
    "date": "2017-10-01/to/2017-10-20",
    "expver": "prod",
    "grid": "0.5/0.5",
    "levtype": "sfc",
    "origin": "ecmf",
    "param": "134/167/228228",
    "step": "0/6/12/18/24/30/36/42/48/54/60/66/72/78/84/90/96/102/108/114/120/126/132/138/144/150/156/162/168/174/180/186/192/198/204/210/216/222/228/234/240/246/252/258/264/270/276/282/288/294/300/306/312/318/324/330/336/342/348/354/360",
    "time": "00:00:00/12:00:00",
    "type": "cf",
    "target": "output",
})
我们可以对照着学习一下。

这里给出一个TIGGE数据源的示例


转至元数据结尾 转至元数据起始

TIGGE压力水平控制预测

10m风组件，10m v风组件，来自NCEP。所有压力水平。

ECMWF公共数据集Web界面

  #!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "kwbc" ,
     'levelist'   :  "200/250/300/500/700/850/925/1000" ,
     'levtype'    :  "pl" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18/24/30" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "131/132" ,
     'time'       :  "00/06/12/18" ,
     'date'       :  "2014-10-01" ,
     'type'       :  "cf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-10-01_00061218.grib"
})

TIGGE表面扰动预测

2m温度。01 NOV 2014，来自ECMWF

ECMWF公共数据集Web界面

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "ecmf" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
})

来自日本东京日本的rjtd

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "rjtd" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
}) 

来自rksl，韩国：

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "rksl" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
})

转至元数据起始

监控您的请求（python中我如何知道是否成功，如何取消请求）

我的要求完成需要多长时间？

根据一些因素和限制，请求可能需要一些时间（从几分钟到几个小时）才能完成。（例如，您提交的请求数，Nr当前正在运行的总活动请求数量，所涉及资源的可用性，最重要的是您的请求效率） 

如何追溯旧请求？

 您的工作列表可用于跟踪旅游请求。

您还可以使用Web-API活动和MARS活动页面。请参阅为什么MARS活动很重要

哪个是取消请求的最佳方式？

  •  如果您想取消请求，请访问  您的工作，并单击取消选项。
  • 一旦你已经取消了它，请求的状态将成为中止
  •  取消不是推荐的方法，因为它可能会影响其他提交的请求的性能。
  • 参见下一个常见问题。

我可以在本地环境中杀死我的请求（例如通过CTRL + C）

  • （警告）如果您只是在本地环境中杀死一个Web API请求（例如通过CTRL + C），那么在web-API服务级别上的相应作业不会被取消，但仍在运行。 
  • 您的请求将在您的工作列表中继续有效。 
  • http://apps.ecmwf.int/webmars/joblist/ 这个是查看请求的列表的网站，执行完的请求数据以及请求状态都可以看到，请求完成的数据
  • 也可以在这里下载
  • 请参阅以前的常见问题，以查看如何正确取消您的请求。
  • 图为joblist

我的请求已经排队（或活动）了很长时间。我要杀了吗？

  • 根据许多因素和限制，请求可能需要一些时间才能完成。
  • 访问您的工作列表以查看请求的状态
  • 您可能需要访问我们的疑难解答页面了解更多信息。

进一步

我可以要求“netcdf”格式的数据吗？

  • 是的，（微笑） 你只需要添加你的请求“格式”：“netcdf” 

我可以要求有限区域吗？

  • 是 （微笑）
  • 如果您已经在请求中设置了“grid”关键字，可以添加“area”：“coordinates”关键字。您可以设置预定义的区域，例如欧洲，或者使用北/西/南/东的坐标设置区域。
  • 您还可以访问MARS区域关键字以获取更多信息：后处理关键字。
  • 见下面的例子。
  "area" :  "europe" ,
#area:  N/W/S/E
 
#europe
"area" :  "75/-20/10/60" ,
 
#africa
"area" :  "40/-20/-40/60" ,

转至元数据结尾
转至元数据起始

请参阅简要请求语法来了解每个关键字。

TIGGE压力水平控制预测

10m风组件，10m v风组件，来自NCEP。所有压力水平。

ECMWF公共数据集Web界面

  #!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "kwbc" ,
     'levelist'   :  "200/250/300/500/700/850/925/1000" ,
     'levtype'    :  "pl" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18/24/30" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "131/132" ,
     'time'       :  "00/06/12/18" ,
     'date'       :  "2014-10-01" ,
     'type'       :  "cf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-10-01_00061218.grib"
})

TIGGE表面扰动预测

2m温度。01 NOV 2014，来自ECMWF

ECMWF公共数据集Web界面

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "ecmf" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
})

来自日本东京日本的rjtd

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "rjtd" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
}) 

来自rksl，韩国：

#!/usr/bin/env python
from  ecmwfapi  import  ECMWFDataServer
    
server  =  ECMWFDataServer()
    
server.retrieve({
     'origin'     :  "rksl" ,
     'levtype'    :  "sfc" ,
     'number'     :  "1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23" ,
     'expver'     :  "prod" ,
     'dataset'    :  "tigge" ,
     'step'       :  "0/6/12/18" ,
     'grid'       :  "0.5/0.5" ,
     'param'      :  "167" ,
     'time'       :  "00/12" ,
     'date'       :  "2014-11-01" ,
     'type'       :  "pf" ,
     'class'      :  "ti" ,
     'target'     :  "tigge_2014-11-01_0012.grib"
})
CronousGT
关注
专栏目录
python处理era5_以ERA-5为例，从零开始手把手教你使用ECMWF Web API（python）
weixin_39788969的博客
11-29 1471
登录后查看更多精彩内容~您需要 登录 才可以下载或查看，没有帐号？立即注册x本帖最后由 Masterpiece 于 2017-11-10 21:54 编辑欧洲爸爸的interim网页由于某种原因，选择日期的方式改版了。下个再分析资料十分不方便，不能选当天的，那只好用Web API咯~之前leeol等人（http://bbs.06climate.com/forum.php?mod=viewthrea...
python连接不上数据库_使用python访问ECMWF数据库时出错
weixin_39637975的博客
11-24 603
==================RESTART:C:\Users\Giulio\Desktop\test.py==================2018-05-2112:08:29ECMWF API python library1.5.02018-05-2112:08:29ECMWF API at https://api.ecmwf.int/v1Errorcontacting theWebA...
利用Python调用ECMWF欧洲中心API批量下载数据
zhanglinqi_007的博客
01-14 1万+
       前段时间由于需要下载ECMWF（欧洲中期天气预报中心）的再分析数据，学习了如何利用Python调用ECMWF欧洲中心API进行批量下载。这种下载ECMWF数据的方法在官网上有非常详细的介绍。我只是对这种下载数据的方法进行小结，其中包含在这过程中遇到的一些小问题，以及一些解决方案。希望互相学习，共同提高。   相关链接： (1)详细的步骤： https://software.e...
NCEP、ECMWF等气象数据下载教程
最新发布
gitblog_06603的博客
09-26 588
NCEP、ECMWF等气象数据下载教程 【下载地址】NCEPECMWF等气象数据下载教程 NCEP、ECMWF等气象数据下载教程本仓库提供了一个详细的教程资源文件，帮助用户了解如何从NCAR官网下载NCEP、ECMWF等气象数据 ...
使用python自动化点击页面元素以下载ecmwf数据
weixin_44638075的博客
01-17 666
重要申明 部分代码源自网络，是在记不清了，对作者表示歉意 import time import os import sys from selenium import webdriver import win32api import win32con from selenium.common.exceptions import NoAlertPresentException import traceback from urllib import request import msvcrt # chrome
使用Python批量下载ECMWF欧洲中心数据
01-07
使用Python批量下载ECMWF欧洲中心数据，附Python程序+相应安装包+使用图文教程.
ECMWF等大气数据批量下载（Python API）详细步骤
liuxiaojiangtobeno1的博客
02-19 9981
ECMWF等大气数据批量下载（Python API） 遥感方向做热红外温度反演，不可避免的要用到大气廓线数据，大气数据具有实时性，比如2018年9月1日的早上8点的影像，为了提高反演精度就需要用到时间上与其相差尽可能接近的大气数据，用于消除大气的影响，如果数据量较少我们可以查看影像的时间和空间范围进行下载，但是如果处理某个较大区域时可能涉及到大量的影像，如果一景一景对应查找去下载会很麻烦，因此针对大量数据的自动批量下载很有必要。本文根据 https://cds.climate.copernicus.eu/#
python批量下载ECMWF数据的代码
08-08
在Python中，我们可以使用`ecmwf-api-client-python`这个库来与ECMWF的API进行交互。 首先，我们需要安装`ecmwf-api-client-python`库。这可以通过Python的包管理器pip来完成： ```bash pip install ecmwf-api-...
用Python下载ERA5数据超详细教程
04-19
### 使用Python下载ERA5数据详解 #### 一、Python环境搭建与Anaconda的使用 **背景简介** 在开始之前，我们需要准备一个稳定的Python环境。对于数据科学家和科研人员来说，推荐使用Anaconda作为Python的科学计算...
ECMWF数据集ERA-Interim介绍----大气数据研究
热门推荐
子浩的博客
12-02 3万+
ERA-Interim是ECMWF 继ERA40 之后推出的一套新的再分析资料，在时间段上有部分和ERA40 重叠（1989-2002），但是在资料的处理上有很大的进步：由三维同化系统（3D VAR）变成四维同化系统（4DVAR）；更改了模型参数； 增加了资料精度， 水平分辨率加强；并应用了更多的卫星和地面观测资料等。ERA-Interim 使用的陆面过程仍为TESSEL(Tiled ECMWF ...
from ecmwfapi import ECMWFDataServer ModuleNotFoundError: No module named ‘ecmwfapi’
weixin_44657592的博客
03-07 1037
pip install 显示安装成功, from ecmwfapi import 的时候却显示 ModuleNotFoundError: No module named ‘ecmwfapi’ 可能是由于你的linux系统下安装了多个python，pip --version 与你的python–version 不对应，所以install并没有把库安装到你所使用的python下面。 解决方法：pip install 改为 py3 -m pip install 其中这个py3 取决与你的bashrc 里面 ali
ecmwflibs
03-27
ecmwflibs 一个Python包，其中包装了一些ECMWF库，供Python与ECMWF软件的接口使用。 以下代码段应将路径返回ecCodes共享库。 import ecmwflibs lib = ecmwflibs . find ( "eccodes" ) 您可以获取库的版本： import ecmwflibs print ( ecmwflibs . versions ()) { 'eccodes' : '2.19.0' , 'magics' : '4.4.3' , 'ecmwflibs' : '0.0.12' }
利用python下载ECMWF数据
bluelilyfly的博客
05-01 7002
1.注册ECMWF数据下载账号；2.下载 ECMWF web-API client version in python，下载网址为https://software.ecmwf.int/wiki/display/WEBAPI/Web-API+Downloads，然后pip install 下载的包即可3.登录账号获取下载数据的key，网址https://api.ecmwf.int/v1/key/，然...
python调用ECMWF欧洲中心api下载数据
ginynu的博客
02-11 1万+
这里只做简单介绍，详细步骤见https://software.ecmwf.int/wiki/display/WEBAPI/Access+ECMWF+Public+Datasets 1.安装欧洲中心python api： sudo pip install https://software.ecmwf.int/wiki/download/attach
ECMWF 欧洲中期天气预报中心 下载长序列气象数据（温度，风场等）
Slytherin_Cat的博客
05-03 1万+
由于改版，从ECMWF上获取数据需要通过API访问，本文提供了python代码批量下载数据的方法 下面网址提供了再分析数据（reanalysis dataset），也就是长序列气象数据 https://www.ecmwf.int/en/forecasts/datasets/browse-reanalysis-datasets （当然这个网站也提供了一些实时数据，但其获取方式不是本文的关注点） 1、...
ECWMF下载s2s回算数据-批量下载
m0_71308123的博客
04-26 314
解决办法：删掉，然后重新运行下面的下载代码，因为这段代码已经包括自动检测已有的文件是否存在。当大小不一样的时候说明下载的时候有损坏，所以下载完之后要检查一下。
Python脚本批量下载ECWMF免费数据教程（含ERA5自动下载最新数据脚本）
m0_60394632的博客
07-21 1195
Python脚本批量下载ECWMF免费数据教程，含有ERA5自动下载最新数据脚本
算了，批量下载吧，我的ECMWF数据(Linux版本)
jerry003的博客
12-22 3448
批量下载ECMWF
风浪模拟数据准备步骤（MOW/SWAN）：如何从ECMWF-EAR下载数据
weixin_45583590的博客
03-25 4145
风浪模拟数据准备步骤（MOW/SWAN）1.背景风场的下载2.NC数据的转换3.采用Python实现背景风场的下载3.1 优势3.2 前期准备获得API key安装ecmwf-api-client3.3 使用方法3.3 运行出现error contacting the WebAPI, retrying in 60 seconds4. 代码修改5. 以上存在的问题 1.背景风场的下载 欧洲中心网站 ...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值