【AI气象6】Skilful nowcasting of extreme precipitation with NowcastNet

最新推荐文章于 2024-12-26 13:14:22 发布

小春shi

最新推荐文章于 2024-12-26 13:14:22 发布

阅读量1.2k

点赞数 28

文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_51473374/article/details/141641592

版权

A.1 NowcastNet的关键组成部分：

0. 论文基本信息

1. Paper:Skilful nowcasting of extreme precipitation with NowcastNet | Nature

2. Code:Code Ocean

3. [引用] Zhang, Y., Long, M., Chen, K., Xing, L., Jin, R., Jordan, M. I., & Wang, J. (2023). Skilful nowcasting of extreme precipitation with NowcastNet. Nature, 619(7970), 526-532.

4. 摘要—极端降水是气象灾害的重要因素，因此迫切需要通过高分辨率、长时间预报和局部细节的精准短期预报来减轻其社会经济影响。当前的方法存在模糊、衰减、强度或位置误差，基于物理的数值方法在捕捉关键的混沌动态（如对流起始）时面临挑战，而数据驱动的学习方法则未能遵循内在的物理法则（如平流守恒）。我们提出了 NowcastNet，这是一种针对极端降水的非线性短期预报模型，将物理演变方案与条件学习方法统一到一个端到端的神经网络框架中，通过优化预测误差进行训练。基于来自美国和中国的雷达观测数据，我们的模型能够生成物理上合理的降水短期预报，在 2,048 km × 2,048 km 的区域内呈现清晰的多尺度模式，并具有最长达 3 小时的预报时效。在中国62位专业气象学家的系统评估中，我们的模型在 71% 的案例中在领先方法中排名第一。NowcastNet 在轻到强降雨强度下提供了精准的预报，特别是对于以平流或对流过程为伴的极端降水事件，这些事件在之前被认为难以处理。

5. Nature

1. 背景介绍

天气预报，尤其是极端降水事件的预测，始终是气象学领域的一大挑战。传统天气预报方法依赖于数值天气预报模型，这些模型通过解决大气动力学和热力学的基本方程来预测天气。然而，这些方法在短时间内（通常在1小时内）能够提供准确的预报，但随着时间的推移，预报的准确性迅速下降，导致强回波位置误差和对小规模对流特征的失真。这种错误在自回归平流过程中以不可控的方式累积，反映出现有平流实现未能有效融合非线性演变模拟和端到端预报误差优化的局限性。

近几年，深度学习方法在天气临近预报中得到了广泛应用。这些方法利用大量复合雷达观测数据，通过训练神经网络模型以实现端到端的预测，省略了对降水过程背后物理规律的明确参考。这些模型在低强度降水的预报中显示出了良好的性能，尤其是通过关键成功指数（CSI）等网格单元指标进行评估。然而，对于极端降水事件，尽管深度生成雷达模型（DGMR）等先进方法已被开发并在预报准确性上取得了一定的进展，但仍然存在一些显著的问题，如在较长预报时间内的异常运动和强度表现、强回波位置误差以及云团的快速消散。这些问题反映了雷达回波仅是大气系统部分观测的事实，深度学习模型在捕捉降水背后更全面的物理现象方面面临挑战。

为了改善这种情况，我们认为有必要将物理知识嵌入到数据驱动模型中，以实现对极端降水的准确临近预报。这包括云运输的守恒定律和降雨率的对数正态分布等关键物理原理。基于此，我们提出了NowcastNet，这是一个基于复合雷达观测的统一临近预报模型。NowcastNet结合了深度学习技术与物理第一原则，通过实现神经演化算子来建模非线性过程，并应用物理条件机制以最小化预报误差。这种创新的框架能够无缝整合平流守恒，成功预测长期存在的中尺度模式，并捕捉短暂的对流细节，预报时间可达3小时。

我们将在接下来的部分中展示NowcastNet在美国和中国的事件数据集上的表现，结果表明，该模型的预报准确性和实用性优于现有的深度学习系统，如pySTEPS和DGMR。通过将物理知识与深度学习相结合，NowcastNet为提升极端降水预报能力提供了新的方向，对未来气象预报的发展具有重要意义。

2. 方法论

NowcastNet 通过有效地将物理原理与先进的统计学习技术相结合，代表了降水即时预报领域的重要进展。它处理多尺度大气过程的复杂性，使得准确及时的天气预测成为可能，这对有效的天气监测和应对至关重要。

A. NowcastNet 概述

NowcastNet 是一个前沿框架，旨在熟练地进行降水即时预报，结合物理原理与统计学习。这个基于神经网络的方法以端到端的方式优化预测误差，使其在短期天气预测中尤其有效。

A.1 NowcastNet的关键组成部分：

模型结构：1) 随机生成网络 (θ)：该组件基于潜在随机向量生成预测，使模型能够捕捉天气系统内在的混沌动态。2) 确定性演化网络 (ϕ)：该网络确保遵循降水的物理法则，建模天气系统在 20 公里空间尺度上的传输。
即时预报过程：模型使用过去的雷达数据 $x_{T_0 : 0}$ 预测未来雷达场 $\widehat{x}_{1:T}$ ，它利用潜在的高斯向量 $z$ 实现集合预报，有效地应对大气动态的混沌特性。
多尺度挑战处理：NowcastNet 采用了一种新颖的条件机制，使数据驱动的生成网络能够增强演化网络的预测。这种尺度分离减少了由于不同空间尺度混合而可能产生的误差，使其能够捕捉细粒度的对流特征（1-2 公里尺度），同时维持中尺度的准确性（20 公里尺度）。
自适应归一化：模型使用空间自适应归一化技术，确保预测与降水的物理约束一致，从而提高生成预测的准确性。

A.2 学习框架

NowcastNet 采用条件生成对抗网络 (GAN) 方法。它包含：

时间鉴别器：该组件区分真实的雷达观测与来自即时预报过程的合成输出。
对抗损失：训练过程中生成的对流细节弥补演化网络可能忽略的部分，确保与观测雷达数据的空间一致性。

B. 演化网络

可微分演化算子：演化网络实现了 2D 连续性方程，允许同时学习运动场和强度残差。该算子是可微的，这使其能够纳入基于梯度的优化框架中。
误差优化：预测误差在整个预测时间范围内直接优化。演化网络最小化预测雷达场与观测数据之间的距离，随着时间的推移增强模型的准确性。
运动正则化：为了提高运动场的平滑性，包含了一个运动正则化项，专注于降水强度加权的空间梯度。该设计确保较大的降水模式更稳定，从而提高预测质量。

3. 实验

A. 数据集

所有模型均在美国和中国的降水事件大雷达语料库上进行训练和测试，该语料库由从雷达流中提取的固定长度序列组成。采用重要性采样策略来创建更具代表性的极端降水事件数据集。

在美国语料库中，我们使用了多雷达多传感器（MRMS）数据集，所有模型在2016年至2020年的雷达观测数据上进行训练，并在2021年进行评估。在中国语料库中，我们使用了中国气象局提供的私有数据集，训练数据为2019年9月至2021年3月的雷达观测，评估数据为2021年4月至6月的雷达观测。尽管中国语料库较小，但由于地理多样性，潜在的天气系统更为复杂。为避免过拟合，我们采用了迁移学习策略，即所有模型在美国训练集上进行预训练，然后在中国训练集上进行微调

B. 评估指标

NowcastNet能够在推理时以秒级的速度生成高分辨率场。我们报告了两个主要的定量指标：

邻域CSI（Critical Success Index）：用于测量即时预报的位置准确性。
功率谱密度（PSD）：用于基于谱特征测量降水的变异性。

这些指标帮助我们全面评估NowcastNet在降水即时预报中的表现，特别是在极端天气事件中的应用效果。

C. 与SOTAs的比较

我们对NowcastNet的预报能力和价值进行了评估，比较了目前最先进的降水即时预报模型，包括pySTEPS、PredRNN和DGMR。

pySTEPS是一种基于平流的方法，已被全球气象中心广泛采用进行实用即时预报。
PredRNN是一种数据驱动的神经网络，已在中国气象局部署。
DGMR是一种基于深度生成模型的集成即时预报方法，结合了领域知识，例如云的时空一致性和降水的重尾分布，在英国气象局的专家评估中展现了最佳预报能力。

D. 定性分析-降水事件分析

D.1 Case1 美国东部case

我们研究了2021年12月11日09:30 UTC开始的一个降水事件（图2），该事件是美国东部一场龙卷风爆发的一部分。首先，几条强烈的风暴线在密西西比河流域发展并向东移动；随后，它们汇聚成一条沿相关冷锋延伸的对流细线，从肯塔基东部扫向阿拉巴马州。该降水事件导致了数十个龙卷风、广泛的暴雨和时速达到78英里的直风。预测这一细线（在雷达场中以黄色线回波表示）的形状被认为是非常具有挑战性的。

模型比较：

pySTEPS：虽然能预测出未来雷达场的良好清晰度，但存在较大的位置误差，并且在1小时后无法保持线回波的形状。
PredRNN：仅能提供轮廓趋势，但预测模糊，丧失了对气象学家有用的多尺度模式。
DGMR：能够保留对流细节，但出现不自然的云消散，导致较大的位置误差和强度低估。更糟糕的是，DGMR预测的线形状严重扭曲。

在整个3小时的事件中，NowcastNet是唯一能够准确预测细线移动并保持降水区域包络的模型。该线回波覆盖了强降水（>32 mm/h），NowcastNet在该条件下显著提高了CSI指标。同时，NowcastNet在所有波长（即空间尺度）上都取得了最高的PSD，提供了清晰、一致和多尺度的即时预报，与实际情况相比效果显著。

D.2 Case2 中国江淮地区case

我们还研究了2021年5月14日23:40 UTC在中国江淮地区的另一个降水事件（图3），多个城市发布了红色暴雨警报。三个对流单元的演变各不相同：

第一个单元从中心向东北移动，形成了从单细胞雷暴回波演变而来的弓形回波。
第二个单元是从西南向中部移动的阵风线，尾部向东移动。
第三个单元在两者之间，显示出稳定的增长。

由于不符合物理守恒定律，PredRNN和DGMR遭遇快速消散，未能预测任何对流单元在2小时预报期内的演变。pySTEPS预测了三种单元的方向，但未能预测具体位置或形状变化。相比之下，NowcastNet在3小时的预报期内提供了对三种单元演变的合理即时预报。尽管对阵风线和生长单元的预报仍不完美，但对气象学家仍具有实用价值。相较于领先的方法，NowcastNet在CSI邻域和PSD的定量结果有显著提升。

我们还检查了更多极端降水、对流起始、轻降水和典型过程的天气事件，详见扩展数据图2-8和补充图2-5。扩展数据图9和10展示了2,048 km × 2,048 km的高分辨率即时预报。

E. 气象学家评估

我们通过英国气象局的气象学家评估协议来评估不同模型在极端降水事件中的预报价值。为确保公平，中国气象局公开邀请了全国的高级气象学家参与评估。在公共网站上，专家可以控制降水场的显示，但不同模型的即时预报是匿名展示且顺序打乱的。最终，来自中央和23个省级气象台的62名专家气象学家完成了评估，每位专家随机判断了来自极端降水事件子集的15个测试案例。美国和中国的子集分别包括2021年93天内发生的1,200个极端事件和2021年4月至6月的50天内的极端事件。我们注意到，虽然中国气象学家评估美国事件可能存在一定的偏差，但我们预期这种偏差相对较小，因为全球天气系统共享基本的物理原理，两国间也共享气象观测和技术。

我们通过运行两种类型的评估来增强英国气象局的协议：后评估和前评估。在后评估中，气象学家被要求基于未来的实际观测客观地对每个模型的预测预报价值进行排名。在前评估中，气象学家需要根据过去的雷达序列主观地对预报价值进行排名，但不查看未来的实际情况。该协议模拟了在未来观测不可获取的真实场景中，气象学家必须快速选择哪个模型在即时预报中更优。

气象学家评估的统计结果如图4a、b所示。在后评估中，NowcastNet被评为美国事件的首选模型，占75.8%（[72.1, 79.3]）和中国事件的67.2%（[63.1, 71.1]）。在前评估中，NowcastNet被评为美国事件的首选模型，占71.9%（[66.6, 76.8]）和中国事件的64.4%（[58.9, 69.7]）。括号中的数字为95%的置信区间。NowcastNet以其提供的有效即时预报，展现出物理合理性和多尺度特征，获得了气象学家的高度偏好，而其他模型则表现不佳。

F. 定量评估

我们提供了一项基于图4c和4d中CSI邻域和PSD结果的定量评估。评估包括U-Net，这是降水即时预报的常见基准。采用DGMR的重采样协议，我们从美国和中国的语料库中抽取了两个子集，这两个子集都代表极端降水事件。根据CSI邻域，NowcastNet在较高降水率（>16 mm/h）下生成了更准确的即时预报。根据PSD，NowcastNet在3小时预报时间内，产生了与雷达观测一致性更高的光谱特性变化的更清晰的即时预报。这些量化结果证明NowcastNet在极端降水的即时预报中具有技能，更能有效预测中尺度和对流尺度的降水模式，同时在更长时间内保持高准确性的演变预测。

在补充图10到17中，我们提供了在均匀采样和重要采样协议下的进一步定量评估。

4.结论

降水即时预报是气象科学的一个长期重要目标。尽管已有一定进展，但目前的数值天气预报系统仍无法提供对极端降水事件的有效预报，而这些预报对于依赖天气的政策制定至关重要。

降水即时预报固有的困难主要源于大气中多尺度和多物理过程的问题，以及将物理第一原理与统计学习方法进行严格结合的需要。我们的工作通过使用一个端到端的优化框架来解决这一挑战，该框架结合了物理演变方案和条件学习方法。最终得到的模型NowcastNet，能够为极端降水事件提供物理上合理的高分辨率即时预报，具有较长的预报时间和局部细节，而现有方法在这方面表现不佳。

未来需要进行大量工作来提高降水即时预报的技能。其中一个方向是整合更多的物理原理，例如动量守恒。另一个方向是利用更多气象数据，如卫星观测。我们希望这项工作能够激励未来在这些方向上的研究。