MindSpore AI科学计算系列 | MetNet3融合稀疏站点数据,实现提前24h天气预报

谷歌DeepMind与谷歌研究院合作的MetNet-3利用深度学习和观测数据,提升了天气预报的时效至24小时,通过Densification方法融合稀疏数据,采用Unet和MaxVit架构,提供更准确的预报。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

准确预测未来几分钟到几周的天气是一项基本的科学挑战。目前,绝大部分气象机构采用传统数值模式进行天气预报,这些数值模式是基于大气的物理模型进行构建的,但同时这些模式本身也会受到计算成本的限制。深度神经网络为天气变化建模提供了另一种范式,一旦模型训练完成,神经网络可以在不到一秒的时间内做出预报,同时兼备非常高的时间分辨率和空间分辨率。与此同时,AI模型还可以直接从大气观测数据中进行训练,以此获得更贴近观测的预测效果。

2023年6月,谷歌研究院与DeepMind合作发布了最新的天气模型MetNet-3,与之前的MetNet和MetNet-2相比,MetNet-3的预报时效从8小时、12小时提升到了24小时,并且增加了预报变量,同时扩大了预报范围。

1、方法与实验

在近期大量涌现的AI气象预报模型中,如Graphcast、盘古气象大模型,均采用再分析数据作为训练样本,即通过背景场与观测同化后的数据。相较于这些中期预报模型,MetNet-3选择引入一部分大气观测数据来进行模型的训练和评估。然而观测数据与再分析数据不同的是,观测数据来源多样且异构,数据存在不同程度的稀疏性。为了融合大气观测数据(稀疏点状数据),MetNet-3采取了一种Densification方式,这种方法将数据同化与模拟预测直接在AI模型中进行融合,Densification的过程如图1所示。

image.png

图1 Densification训练方式

Densification的目的是利用站点观测数据,预测所有位置上的基础气象要素。首先将所有站点取80%作为训练站点,20%作为验证站点,这20%的站点是不参与训练的,只参与精度验证;在实际训练中,随机mask25%的站点,然后输出所有训练站点的气象要素,并计算loss;然后在模型验证阶段,会把所有的训练站点都输进去,在所有验证站点上验证精度。最后在模型推理阶段,模型将所有的站点都作为输入,输入全部位置的预测值。

MetNet-3整体网络架构如图2所示,MetNet-3选择Unet作为backbone,由于数据集部分包含了两种分辨率,因此在Unet输入中,首先输入4km分辨率的数据,并在一次DownSample后加入8km分辨率数据,实现两种分辨率数据的融合。其次,MetNet-3在Unet中加入了MaxVit模块,主要考虑利用grid attention来捕捉一些全局信息。模型最终有三个输出,在4km的分辨率下会输出600多个同化的基础要素和稀疏的站点数据。在模型的最终输出层,数据会UpSample到1km的降水数据上。值得注意的是,模型虽然会输出同化结果作为loss用来约束整个模型,但是模型的评估里并不会考虑这些要素的预测质量。

image.png

图2 MetNet-3模型架构

另外,实验也发现如果同时训练这些变量,降水的预报质量和其他地面要素的预报质量会存在trade off,因此MetNet-3采取的训练策略是先减少OMO的损失权重训练降水要素,然后在把权重扩大100倍来进行模型微调。

2、结论与感谢

MetNet-3是一种新型的AI天气预报模型,可以对核心天气变量进行提前24小时的预报,其性能优于最先进的数值模式。目前MetNet-3已投入运行,可生成实时12小时降水预报,这些预报现已在与天气相关的Google产品中提供服务。



往期回顾

MindSpore AI科学计算系列 | 化学深度学习模型ChemGPT的性能评估公式拟合

MindSpore AI科学计算系列 | GNN-MoM基于昇思MindSpore Elec的图残差学习电磁求解器

MindSpore AI科学计算系列 | VAE基于MindSpore Elec的特征域MT反演,提升大地电磁反演的精度和分辨率

MindSpore AI科学计算系列 | Allegro提升昇思分子势能预测准确性,将上线MindSpore Chemistry

### 使用神经网络实现天气预报的方法 #### 方法概述 利用神经网络进行天气预测主要依赖于数据驱动的方式,通过大量历史气象数据训练模型来捕捉大气变化规律。对于特定类型的神经网络而言,如卷积神经网络 (CNNs),可以处理空间结构化输入;而循环神经网络 (RNNs) 及其变体 LSTM 和 GRU 则擅长处理时间序列数据。 #### Google 的 MetNet 模型实例 谷歌发布的 MetNet 是一种专门设计用于短期临近预报的深度学习框架[^1]。该模型能够直接从雷达图像和其他观测资料中提取特征,并快速生成未来数小时内降水分布的概率图谱。相比于传统数值方法,MetNet 不仅提高了预测速度而且增强了准确性。 ```python import tensorflow as tf from metnet import build_model, load_data # 加载并预处理数据集 data = load_data('path/to/dataset') # 构建 MetNet 模型 model = build_model(input_shape=(None, None, 3), num_classes=2) # 训练过程省略... # 预测新样本 predictions = model.predict(data['test_images']) ``` 此代码片段展示了如何加载数据、构建以及使用 MetNet 进行预测的过程。实际应用时还需要考虑更多细节配置与优化措施。 #### 基于 BP 神经网络的传统方案 另一种常见做法是在 MATLAB 中采用反向传播算法(BP Neural Network)[^2]来进行简单版的温度或降水量估计: ```matlab % 创建三层前馈网络 net = feedforwardnet([10]); % 设置训练参数 net.trainParam.epochs = 100; % 准备训练数据 inputs = ...; % 输入变量矩阵 targets = ...; % 输出目标列向量 % 开始训练 [net,tr] = train(net, inputs', targets'); % 测试阶段 outputs = net(inputs'); errors = gsubtract(targets', outputs); performance = perform(net, targets', outputs') ``` 上述MATLAB脚本定义了一个简单的三层次BP神经网路,并完成了基本的数据准备、模型训练和性能评估工作流。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值