Python语言地球科学应用、CMIP6数据处理方法与典型案例分析

目录

Python语言在地球科学领域中的实践应用【促进多领域学科交叉融合】

CMIP6数据处理方法与典型案例分析实践技术应用

---

Python语言在地球科学领域中的实践应用【促进多领域学科交叉融合】

Python是功能强大、免费、开源，实现面向对象的编程语言，Python能够运行在Linux、Windows、Macintosh、AIX操作系统上及不同平台（x86和arm），Python简洁的语法和对动态输入的支持，再加上解释性语言的本质，使得它在大多数平台上的许多领域都是一个理想的脚本语言，特别适用于快速的应用程序开发。Python具有丰富和强大的库，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。除了Python标准库，几乎所有行业领域都有相应的Python软件库，随着NumPy、SciPy、Matplotlib和Pandas等众多Python应用程序库的开发，Python在科学和工程领域地位日益重要，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面的优异性能使得Python在地球科学中地理、气象、气候变化、水文、生态、传感器等领域的学术研究和工程项目中得到广泛应用并高效解决各种数据分析问题，可以预见未来Python将成为科学和工程领域的主流程序设计语言。
从Python的基本使用方法开始，数据可视化到常见数据分析方法的使用，并结合相关学科具体实例，能从中借鉴学习。

【专家】：长期从事地学领域数据挖掘、区域气候变化、数值模式、地学统计。主要研究领域为复杂数据分析和统计建模，长期从事Python语言的教学与应用，有丰富的地学数据分析、建模、商务智能等项目实施与管理经验。

【数据福利】：
赠送CMIP6月数据（500G+）
包含变量：温压湿风辐射降水
包含情景：historical、ssp126、ssp245、ssp370、ssp585
赠送CMIP6日数据（1.8T+）
包含变量：温压湿风辐射降水
包含情景：historical、ssp126、ssp245、ssp370、ssp585
赠送全球VIPPHEN物候数据（40G+）
时间：1981-2014，年数据 空间分辨率：5.6km
赠送遥感降水数据MSWEP 2.0 （325G+）
时间：1979-2022 时间分辨率：3h 空间分辨率：0.10˚
赠送ERA5-LAND陆面再分析数据（5T左右）
时间：1951.1.1-2021.12.31  时间分辨率：hourly 空间分辨率：0.1°（等角lonlat投影+wgs84）
包含11个变量：温度、气压、辐射、蒸发、降水、湿度【详情见数据说明文件】

1、提供虚拟机（Virtual Box）文件（预装好Anaconda环境，可直接使用）
2、提供原始数据和中间临时文件

专题一 Python重点工具讲解【打好基础】

Numpy：科学计算
Scipy：科学计算
Sklearn：机器学习
Matplotlib：可视化

专题二 常见地球科学数据讲解【掌握数据的特点】

1、站点数据：
GSOD
GHCN

2、格点观测数据
CRU
CN05.1
OISST、HadSST

3、再分析：
ERA5
GLDAS

 

4、遥感数据：
GLEAM
Landsat
MODIS
TRMM

 

专题三 使用Xarray处理netCDF和Geotiff数据
Xarray
读取&写入 netCDF文件
Groupby & resample 对时间、空间信息进行操作
Rasterio & rioxarray

专题四 使用Pandas分析时间序列数据

案例一：时间序列填补

案例二：极端风速重现期分析 

案例三：台风个数统计

 

专题五 使用Python处理遥感数据1以Landsat数据为例

1、大数据的可视化
GB级数据可视化
2、植被指数计算

3、裁剪区域
使用mask掩膜文件裁剪
使用shapefile文件裁剪

专题六 使用Python处理遥感数据2—以MODIS数据为例

1、预备工作：

Python读取HDF4-EOS数据
使用GDAL库预处理
转投影为wgs84+lonlat
拼接多景影像
2、案例一：土地利用分析（MOD12C1）

2000-2020年青藏高原土地利用分析
分析不同土地利用分类上气温和降水的变化

3、案例二：生态系统生产力分析（MOD17A2）

青藏高原草场上土地利用GPP变化
分析草场GPP与降水之间关系（ERA5再分析数据）
 

4、案例三：分析积雪覆盖时间（MOD10A2）

2000-2020年间青藏高原积雪时间统计
分析祁连山不同高程带积雪时间统计（DEM：GTOP30S）

5、案例四：积雪与生产力之间的关系（MOD10A2和MOD17A2）

分析新疆北疆积雪覆盖时间与春季GPP的变化

专题七 使用Python处理站点数据 以GSOD和气象共享网数据为例

 1、数据的读取

读取美国NOAA的GSOD日值数据
读取气象共享网日值数据
2、数据清洗：

数据整理
异常值检测
阈值法
模型法
孤立森林
3、多时间尺度的统计：

年尺度统计
季尺度统计
4、站点插值：（随机森林树）

利用高程、经纬度插值气温数据

专题八 使用Python处理遥感水文数据 以TRMM遥感降水数据和GLEAM数据等为例

1、案例一：空间降尺度

使用NDVI、DEM和机器学习算法对TRMM降水数据降尺度
2、案例二：分析蒸散数据的年际变化
读取GLEAM数据，并分析蒸散发的年际变化
比较MODIS ET产品与GLEAM的差异

3、案例三：比较多套土壤湿度产品

比较GLDAS、GLEAM和CCI SM

4、案例四：分析降水~蒸散发-土壤湿度关系

分析降水~蒸散发-土壤湿度的年际变化

专题九 使用Python处理气候变化数据1 观测数据

1、案例一：百年气温趋势：CRU数据
 

2、案例二：百年海温趋势：HadSST
  

3、案例三：再分析数据处理

ERA5数据气温评估

专题十 使用Python处理气候变化数据2 以CMIP6数据为例

1、降尺度

Delta方法
百分位校正方法

2、案例一：计算极端气候指数

3、案例二：未来气候变化背景下中国地区GPP变化（CMIP6+MOD17+机器学习）
4、案例三：未来气候变化背景下中国地区土地利用变化

专题十一 使用Python对WRF模式数据后处理 

1、案例一：空间坐标重采样
2、案例二：风速垂直高度插值
获取风机70和100m高度的风速和风向

专题十二 使用Python运行生态模型

以CN05.1数据和Biome-BGC MuSo生态模型为例

1、模型讲解
2、气象数据的准备
3、控制文件生成
4、模式的运行
Muliprocesing 并行运行
5、模式后处理
结果统计
结果可视化（NPP）

---

CMIP6数据处理方法与典型案例分析实践技术应用

国际耦合模式比较计划进入新的阶段——第六阶段（CMIP6），这将为气候变化研究领域提供更丰富的全球气候模式数据。相比于 CMIP5，CMIP6 模式有两个主要的特点：一是 CMIP6 考虑的过程更为复杂，很多模式实现了大气化学过程的双向耦合；二是大气和海洋模式的分辨率显著提高，其中大气模式的最高水平分辨率可达到全球25km。除此，CMIP5 的 RCP 情景只考虑了未来100年达到稳定CO2浓度以及相应辐射强迫的目标，并没有针对特定的社会发展路径，而CMIP6中的新的共享社会经济路径充分考虑了这一点，提供了更加多样化的排放情景，可以对减缓适应研究以及区域气候预估提供更加合理的模拟结果，因此在很大程度上弥补了CMIP5中RCP情景的不足。

在国际耦合模式比较计划中，GCM 为构建气候变化提供了全球大尺度的信息，但是在针对区域尺度开展气候研究时，相对较低的分辨率信息对区域气候变化预估产生较大偏差.降尺度方法在将大尺度信息转化为区域尺度上发挥着重要作用，包括动力降尺度、统计降尺度以及二者相结合的方法等。

一、CMIP6中的模式比较计划

1.1 GCM介绍
 

1.2 相关比较计划介绍

二、数据下载

2.1方法一：手动人工 利用官方网站
 

2.2方法二：自动 利用Python的命令行工具
 

2.3方法三：半自动购物车 利用官方网站
 

2.4 裁剪netCDF文件 基于QGIS和CDO实现对netCDF格式裁剪
 

2.5 处理日期非365天的gcm 以BCC为例

三、基础知识

3.1 Python基础
Numpy基础
Scipy基础
Pandas基础

3.2 CDO基本操作
CDO（Climate Data Operator）是大气科学中常用的处理工具。
文件操作
重采样
统计计算

3.3Xarray的基本操作
Xarray是基于Python体系的针对netCDF常用的工具，可以方便实现处理、可视化等操作。
Netcdf文件的读写
统计计算
可视化

四、单点降尺度

4.1 Delta方法
 

4.2统计订正
 

4.3机器学习方法 建立特征 建立模型 模型评估
 

4.4多算法集成方法

 

五、统计方法的区域降尺度

5.1 Delta方法
 

5.2 基于概率订正方法的

六、基于WRF模式的动力降尺度

6.1制备CMIP6的WRF驱动数据
利用cdo工具对gcm的输出文件进行重新编码制备wrf的驱动数据
6.1.1针对压力坐标系的数据制备
6.1.2针对sigma坐标系GCM数据制备
6.1.3 WPS处理

6.2 WRF模式运行
6.3 模式的后处理
提取变量
变量的统计
变量的可视化

七、典型应用案例-气候变化1 

7.1针对风速进行降尺度
 

7.2针对短波辐射降尺度

八、典型应用案例-气候变化2
ECA极端气候指数计算
Consecutive dry days index
Consecutive frost days index per time period
Consecutive summer days index per time period
Consecutive wet days index per time period 

  

九、典型应用案例-生态领域
预估生长季开始和结束时间
1、建立气象数据与VIPPHEN遥感物候数据中生长季开始和结束
2、在未来气候情景下预估生长季长季开始、结束和长度

十、典型应用案例-模式数据
SWAT数据制备
Biome-BGC数据
Biome-BGC是利用站点描述数据、气象数据和植被生理生态参数，模拟日尺度碳、水和氮通量的模型，其研究的空间尺度可以从点尺度扩展到陆地生态系统。案例中以单点模拟方式制备CMIP6的气象数据。