MindSpore AI科学计算系列 | 有效改善预报模糊问题，生成式模型在短临降水预报中大放异彩

背景

近年来，受全球气候变化的影响，极端降水天气频发，实现更准确、更精细和更长预警提前量的降水临近预报成为人们的关注点。短临降雨预报是指对一个区域未来0到6小时内的降雨进行预测。然而，基于物理方程模拟的数值预报技术很难对公里尺度的极端降水做出有效预报，实际系统中的应用是基于光流矢量的方法。该方式通过两个雷达回波图像来估算光流矢量，并基于光流矢量对最后一张雷达图进行外推，得到预测结果。相较于数值模式，这种方法在前一两小时预测的准确度更高。

常见的深度学习方法，如ConvLSTM、RNN、Transformer等模型使用雷达直接预测未来降雨率，虽然准确地预测了低强度降雨，但预报效果往往比较模糊，趋于平滑，缺乏对强对流的预报能力，对发生频次较少的中到大雨事件的预测表现不佳。

2021年，DeepMind与英国国家气象局合作开发了一种名为DGMR(Deep Generative Models of Radar)[1]的深度学习方法，可以准确预测未来 90 分钟内下雨的可能性。该模型相较于之前的预报模型，生成式模型可以来改善预报模糊的问题。然而作为纯黑盒的生成式模型，DGMR对预报结果的输出缺乏物理机制的确定性约束，从而在强度、位置上可能有较大偏差。本文将介绍两个最新生成式模型与先验知识融合的短临降水模型NowcastNet[2]与PreDiff[3]。

1、NowcastNet

NowcastNet[2]是由清华龙明盛老师团队联合中央气象台提出的短临降水预报模型，并在Nature正刊发表。该模型是一种用于极端降水及时预报的深度学习模型，将物理演变方程和生成式模型统一到一个框架中，实现了降水的端到端预报优化。该模型能够提供提前3小时的具有明显多尺度模式的降水即时预报。在全国62名专业气象学家的系统评估中，该模型在71% 的案例中都达到了最优预测水平NowcastNet模型架构如图1所示。

图1. NowcastNet模型架构

NowcastNet模型分为两个部分：Evolution network和Generative network，其中Evolution network基于物理机制约束，从过去的雷达图预报20km尺度的确定性变化；Generative network利用历史雷达图与Evolution network的预报结果，通过GAN生成1~2km尺度的对流细节，生成最终的预报结果。

Evolution network的模型架构如图1(b)所示，该模块大致思路是将降水分解为降水系统生消和平流移动带来的强度变化。该模块着眼于平流运动等物理性质更显著的中尺度降水过程，用Intensity decoder和Motion decoder分别来模拟雨势的大小和对流趋势，生成对应的强度场(intensity)和移动场(motion)，然后通过Evolution operator(图1c)，基于物质连续性方程，将移动场作用在最后一帧雷达，并叠加强度场，从而生成大尺度下的预测结果。

Generative network网络架构如图2所示，该模块为对流尺度生成网络，基于SPADE网络，以中尺度演变网络预测结果为条件，通过概率生成模型进一步捕捉对流生消等混沌效应更显著的公里尺度降水过程。

图2. Generative network模型架构

从架构图中可以看出，中尺度预报既作为encoder的输入，同时可以看作生成模型中的语义指导，约束更细分辨率预报结果。得益于上述融合设计，该模型兼具深度学习与物理建模的优势，在国际上首次将降水临近预报的时效延长至3小时，并弥补了极端降水预报的短板。

2、PreDiff

在生成式模型中，扩散模型(Diffusion Models)从2020年的初出茅庐，到2021年的日趋火热，再到2022年的大放异彩，正在人工智能学术界和工业界获取越来越多的关注。扩散模型在短临降水中也得到了应用。Prediff[3]是由Boson AI与亚马逊提出的基于latent diffusion model的短临降水模型，模型架构如下：

图3. PreDiff模型架构

基于Latent Diffusion Model的训练思路，PreDiff模型首先基于VAE对雷达回波数据进行训练，得到编码器E与解码器D；通过编码器E将观测序列y编码为潜在上下文zcond。模型基于latent diffusion根据zcond对高斯噪声zT进行自回归去噪,生成在latent space下的预测结果z0。值得注意的是，PreDiff在每个zt+1到zt的去噪过程中，都可以通过knowledge control模块对生成的数据分布进行进一步优化,以融入辅助先验知识。最后，z0通过解码器D解码回像素空间,产生最终预测xb。另外，对于去噪模型的构建，PreDiff使用了Earthformer-UNet架构。

在PreDiff模型中，作者重点讨论了先验知识融入的重要性。尽管扩散模型在生成多样性和逼真图像方面具有巨大的潜力,但其生成的预测可能会违反物理规律,产生不合理的预测。其中一个可能的原因是扩散模型的训练数据不一定完全符合领域知识。即使模型是在整理过的数据上进行训练,也无法保证从学习到的分布中采样出的生成内容仍符合物理规律。为了利用先验知识来来控制输出的预报结果，PreDiff单独训练了一个神经网络U，该网络的训练损失由先验知识的控制约束与网络输出之间的差异构成。在推理时,知识控制模块是可插拔的,不影响训练好的VAE和LDM。这种模块化方法允许训练轻量级知识控制网络U来施加不同的约束,而无需重新训练整个模型，与将约束融入模型架构或训练损失相比更加灵活。

3、总结

自DGMR问世后，生成式模型开始在短临降水预报中大放异彩，这类模型可以有效改善以往AI模型预报生成结果模糊的问题；同时，先验知识在短临降水模型中也起到了重要作用，无论是从数据分布还是机理方程出发，数据-知识融合驱动的短临降水模型将逐渐成为未来的演化方向。

参考文献

[1]Ravuri S, Lenc K, Willson M, et al. Skilful precipitation nowcasting using deep generative models of radar[J]. Nature, 2021, 597(7878): 672-677.https://doi.org/10.1038/s41586-021-03854-z

[2]Zhang Y, Long M, Chen K, et al. Skilful nowcasting of extreme precipitation with NowcastNet[J]. Nature, 2023, 619(7970): 526-532.https://doi.org/10.1038/s41586-023-06184-4

[3]Gao Z, Shi X, Han B, et al. PreDiff: Precipitation Nowcasting with Latent Diffusion Models[J]. arXiv preprint arXiv:2307.10422, 2023.https://arxiv.org/abs/2307.10422

往期回顾

MindSpore AI科学计算系列 | 基于深度学习模型来替代传统DFT模型以及DeephE3模型的分析综述

MindSpore AI科学计算系列 | 以MindSpore Elec为例的智能电磁计算若干进展综述

MindSpore AI科学计算系列 | 最新综述文章梳理量子到宏观尺度AI4S共性介绍

MindSpore AI科学计算系列 | 基于PhyCRNet求解时空域PDEs