AI赋能天气：微软研究院发布首个大规模大气基础模型Aurora

气候变化日益加剧，高温、洪水、干旱，频率和强度不断增加的全球极端天气给整个人类社会都带来了难以估计的影响。这给现有的天气预测模型提出了更高的要求——这些模型要更准确地预测极端天气变化，为政府、企业和公众提供更可靠的信息，以便做出及时的准备和响应。为了应对这一挑战，微软研究院开发了首个大规模大气基础模型 Aurora，其超高的预测准确率、效率及计算速度，实现了目前最先进天气预测系统性能的显著提升。Aurora 不仅在预测技术上取得了重大突破，更在应用层面展现出了巨大潜力。

2023年11月，风暴“夏兰”席卷了欧洲西北部，造成了严重破坏，伴随而来的低压系统刷新了英格兰的记录，成为极为罕见的气象事件。这场风暴的猛烈程度让许多人措手不及，在暴露当前天气预测模型不足的同时，也凸显了气候变化日益加剧的情况下，提升气候预测准确性的迫切需求。我们如何才能更好地预测此类极端天气事件，并做好更为充分的准备？

Charlton-Perez 等人（2024年）近期的一项研究指出，即便是目前最先进的人工智能天气预测模型，在准确捕捉风暴“夏兰”的快速增强过程及其峰值风速方面也面临着挑战。为应对这些挑战，微软研究院开发了先进的人工智能基础模型 Aurora，可以从海量的大气数据中洞察到有价值的信息。Aurora 所展示出的创新天气预测方法，有望显著提升人们预测并减轻极端天气事件影响的能力，包括对风暴“夏兰”这类恶劣天气事件的急剧恶化进行预测。

Aurora 论文：

Aurora: A Foundation Model of the Atmosphere

https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/

灵活的大气三维基础模型

Aurora 的有效性在于它经过了超一百万小时的多样化天气和气候模拟的训练，能够全面了解大气动力学。这使得该模型在广泛的预测任务中都表现出色，即使在数据稀疏的地区或极端天气的情况下也能如此。通过以0.1°（赤道处约11公里）的高空间分辨率运行，Aurora 可以捕捉大气过程的复杂细节，提供比以往更准确的预报，而且其计算成本仅为传统数值天气预报系统的一小部分。据估计，Aurora 相较于最先进的数值预报系统（Integrated Forecasting System, IFS）可提升约5000倍的计算速度。

Aurora 不仅拥有极高的预报准确性和效率，还具有多功能性，可以预测各种大气变量，从温度和风速到空气污染水平和温室气体浓度。Aurora 的架构旨在处理异构的黄金标准输入，并以不同的分辨率和保真度生成预测。该模型由一个灵活的 3D Swin Transformer 和基于 Perceiver 的编码器和解码器组成，使其能够处理和预测一系列跨空间和压力水平的大气变量。通过对大量多样化数据进行预训练并针对特定任务进行微调，Aurora 学会了捕捉大气中的复杂模式和结构，即使在有限的训练数据下对特定任务进行微调时，它仍然能有出色的表现。

图1：Aurora 架构

大气化学和空气污染的快速预测

Aurora 多功能性的一个典型例子是其能够利用哥白尼大气监测服务（CAMS）的数据预测空气污染水平。这是一项众所周知的艰巨任务，因为大气化学、天气模式和人类活动之间复杂的相互作用，以及 CAMS 数据的高度异构性。通过利用灵活的编码器-解码器架构和注意力机制，Aurora 可以有效处理并学习这些具有挑战性的数据，捕捉空气污染物的独特特征及其与气象变量的关系。这使得 Aurora 能够在0.4°的空间分辨率下生成精确的五天全球空气污染预报，并在所有目标的74%中超越了最先进的大气化学模拟，从而证明了 Aurora 在解决各种环境预测问题方面的高度适应性和巨大潜力，即使在数据稀缺或高度复杂的情况下也是如此。

图2：Aurora 在许多目标上的表现都优于现行的 CAMS：(a) Aurora 对二氧化氮柱总量的样本预测与 CAMS 的分析比较；(b) Aurora 相对于 CAMS 的纬度加权均方根误差（RMSE），负值（蓝色）表示 Aurora 的表现更佳

利用数据多样性与模型缩放改善大气预测

该研究的主要发现之一是，与在单一数据集上的训练相比，在多样化的数据集上进行预训练可以显著提升 Aurora 的性能。通过整合气候模拟、再分析产品及业务预报的数据，Aurora 能够学习到更强大、更通用的大气动力学表征。得益于庞大的规模和多样化的预训练数据，Aurora 可以在各种任务和分辨率上，超越目前最先进的数值天气预报模型和专业的深度学习方法。

图3：在不同数据上进行预训练并扩大模型规模均有助于提升性能

Aurora 模型的规模化直接带来了在架构设计、训练数据语料库以及预训练和微调协议方面的性能优势，使得 Aurora 的性能超过了现有的专业深度学习模型。为进一步验证在多个数据集上预训练大模型的优势，研究员们将 Aurora 与 GraphCast 进行了比较，后者仅在 ERA5 上进行了预训练，并被认为是分辨率为0.25°、交付时间长达五天的最先进的人工智能模型。此外，研究员们还将 IFS HRES（数值天气预报的黄金标准）也纳入了比较范围。结果表明，无论是在与气象分析、气象站观测数据还是极端值的对比中，Aurora 的表现均优于 GraphCast 和 IFS HRES。

图4：在绝大多数目标上，Aurora 的性能都优于现行的 GraphCast 和 HRES。在每幅图中，中心线右侧的值代表高于阈值的累积均方根误差，左侧的值表示低于阈值的累积均方根误差。

地球系统建模的范式转变

Aurora 的影响力远不止于大气预报领域。通过展示基础模型在地球科学中的潜力，该研究为开发覆盖整个地球系统的综合模型奠定了基础。基础模型可以在数据稀缺的情况下出色地完成下游任务，有望使得在数据稀缺地区（例如发展中国家和极地地区）的民众也能够更加平等地获取准确的天气和气候信息。同时，这一进展也将对农业、交通、能源开发以及灾害应对等多个领域产生深远影响，让人们能够更好地适应气候变化带来的挑战。

随着人工智能在环境预测领域的不断进步，微软研究院希望 Aurora 能够成为未来研究和发展的新范式。该研究强调了多样化预训练数据集、模型扩展和灵活架构在构建地球科学强大的基础模型时的重要性。随着计算资源和数据可用性的不断进步，可以预见，未来像 Aurora 这样的基础模型将成为天气和气候领域预测系统的核心，为全球决策者和公众提供及时、准确和可操作的洞见。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】