水文气象数据——全球地面观测降水

水文气象数据——全球地面观测降水

降水作为水循环过程中最为活跃的环节和流域水文系统的关键输入，对其时空分布特性进行有效而准确的观测，对水文、气象、农业等方面的预警和决策起着极其重要的作用。现阶段获取降水资料的方式主要有地面站点观测、雷达测量和卫星观测降水三种。

计划对上述三种类型降水数据进行分期介绍，本期选择使用较为广泛的两种地面站点观测数据集GHCN和GSOD向大家介绍，具体下载或处理步骤可参考Hydro90知乎相关技术帖（知乎平台将进行同步），往期数据集介绍可以通过当期推文最后目录进行跳转。

1、GHCN(Global Historical Climatology Network)全球历史气候网络

图1 GHCN从1861年开始连续 30 年时间内至少有10年降水记录的测站密度；
图片来自： https://www.ncei.noaa.gov/products/land-basedstation/global-historical-climatology-network-daily

数据简介
全球历史气候网络(GHCN) 是由国家气候数据中心(NDCC)、亚利桑那州立大学和二氧化碳信息分析中心管理的包含温度、降水和压力记录的数据集。其由多个数据来源收集合并而成，包含来自180个国家和地区的100000多个站点的记录（约三分之二仅用于降水测量）。记录长度和记录期限因站点而异，覆盖时间间隔从不到一年到超过175年不等。其他气象要素包括每日最高和最低温度、观测时的温度、降雪量和积雪深度等。

数据集对来自多个来源的数据整合过程分为三步：筛选出未知或异常的测站源数据；将源数据集中的每个站点归类为已存在的站点或新站点；混合来自不同来源的数据。只要有新的源数据集或其他站点可用，就会执行前两步。且数据需要经过一系列质量检查，检查包括以下几种细致的评估测试：检测重复数据、气候异常值及时间和空间上的不一致等。GHCN数据为CSV文件（每个站一个文件）和包含所有站的压缩TAR文件形式。

基本信息
· 时间分辨率：daily, monthly
· 空间分辨率：站点
· 时间跨度：1832 年-至今（不是所有时期的所有数据都可用）
· 引用格式：Menne, M.J., I. Durre, R.S. Vose, B.E. Gleason, and T.G. Houston, 2012: An overview of the Global Historical Climatology Network-Daily Database. Journal of Atmospheric and Oceanic Technology, 29, 897-910, doi.10.1175/JTECH-D-11-00103.1
· 来源：https://www.ncei.noaa.gov/products/land-based-station
· 下载使用： https://zhuanlan.zhihu.com/p/577439289

2、GSOD(Global Surface Summary of the Day)全球每日地表摘要

图2 由NOAA国家气候数据中心生成的GSOD数据集站点地图（2007年）；

图片来自：https://www.ncei.noaa.gov/access/metadata/landingpage/bin/iso?id=gov.noaa.ncdc:C00516

数据简介
GSOD地表气象要素的日数据摘要来自联邦气候综合地表小时(ISH)数据集中包含的天气观测数据。数据集包含全球超过9000个站点的数据。每日数据类型除降水量（0.01英寸）外还包括：平均温度（0.1华氏度）、最高温度（0.1华氏度）、最低温度（0.1华氏度）、平均风速(0.1节)、最大持续风速(0.1节)和积雪深度（0.1英寸）等。

数据时间范围为1929年至今，并以1973年至今的数据最为完整，最新每日数据摘要观测日期时间之后的1-2天发布。在一些时期内，由于数据限制或通信问题，可能出现无法获得一个或多个国家数据的情况。该数据集可支持通过地区或站点进行搜索，以及批量下载数据（CSV格式）。

基本信息
· 时间分辨率：daily
· 空间分辨率：站点
· 时间跨度：1929-至今（距实时1-2天）
· 引用格式：https://registry.opendata.aws/noaa-gsod
· 来源：https://www.ncei.noaa.gov/access/metadata/landing-page/bin/iso?id=gov.noaa.ncdc:C00516
· 下载使用：https://zhuanlan.zhihu.com/p/577444691

Python批量下载GHCN及GSOD数据

#可适用于NOAA提供的数据，使用时更换网站即可
import re
from bs4 import BeautifulSoup
import urllib.request
import ssl
#调用包，如缺少bs4可通过pip或conda安装

url = ‘https://www.ncei.noaa.gov/data/global-historical-climatology-network-daily/access/’ #此处放入包含下载数据列表的网站
my_url = urllib.request.urlopen(url).read().decode(‘ascii’)
soup = BeautifulSoup(my_url,‘html.parser’)
url_list=soup.find_all(href=re.compile(“.csv”)) #根据目标文件的格式更改后缀

urls=[]
for i in url_list[1:]:
urls.append(‘https://www.ncei.noaa.gov/data/global-historical-climatology-network-daily/access/’+i.get(‘href’))

for i, url in enumerate(urls):
file_name = “E:/data/”+url.split(‘/’)[-1] #保存数据的路径
urllib.request.urlretrieve(url, file_name)

print(‘finsh’) #下载完成