人工智能天气预报已经取得了巨大的进步

最新推荐文章于 2024-11-09 21:51:15 发布

Jxbs

最新推荐文章于 2024-11-09 21:51:15 发布

阅读量730

点赞数 20

分类专栏：人工智能文章标签：人工智能

本文链接：https://blog.csdn.net/qq_41537900/article/details/139527981

版权

人工智能专栏收录该内容

38 篇文章 0 订阅

订阅专栏

人工智能天气预报已经取得了巨大的进步

在这里插入图片描述就像一股强大的冷锋经过一样，天气预报界正在发生重大变化。而最终的结果无疑是革命性的：一种基于可在台式电脑上运行的人工智能来预测天气的全新方式。

如今的人工智能系统比其他任何资源都更需要一种资源来运行——数据。例如，像ChatGPT这样的大型语言模型会大量使用数据来改进查询的答案。数据越多，质量越高，他们的训练就越好，结果也就越清晰。

然而，高质量的数据是有限的，即使在互联网上也是如此。这些大型语言模型收集了如此多的数据，以至于它们被广泛起诉侵犯版权。随着数据的耗尽，这些人工智能模型的运营商正在转向合成数据等想法，以继续为“野兽”提供食物，并为用户提供更有能力的结果。

如果数据为王，那么类似于大型语言模型的人工智能技术的其他应用呢?是否存在未开发的数据池?在过去的18个月里出现的最有希望的技术之一是天气预报，最近的进展已经在气象学领域掀起了冲击波。

这是因为有一个秘密武器:一个极其丰富的数据集。欧洲中期天气预报中心(European Centre for Medium-Range Weather forecasting)是世界上最重要的数值天气预报组织，它保存了一组关于大气、陆地和海洋天气的数据，这些数据每天都在世界各地，每隔几个小时，可以追溯到1940年。在全球卫星覆盖出现后，过去50年的数据尤其丰富。这个数据集被称为ERA5，它是公开的。

它并不是为了推动AI应用程序而创建的，但ERA5已经被证明在这方面非常有用。计算机科学家们才真正认真对待使用这些数据来训练人工智能模型来预测2022年的天气。从那时起，这项技术取得了长足的进步。在某些情况下，这些模型的输出已经优于科学家们花了几十年时间设计和建造的全球天气模型，它们需要世界上一些最强大的超级计算机来运行。

“很明显，机器学习是未来天气预报的重要组成部分，”欧洲气象中心(ECMWF)人工智能预测工作的负责人马修·钱特里(Matthew Chantry)在接受Ars采访时表示。

它移动得很快

约翰·迪恩和凯·马什兰是2010年代末在斯坦福大学读本科时认识的。迪恩是一名电气工程师，2017年夏天在SpaceX实习。马什兰是一名计算机科学家，第二年夏天在发射公司实习。两人都是2019年毕业的，都在努力想知道自己的生活该怎么办。

“我们决定要解决天气不确定性的问题，”马什兰说，所以他们共同创立了一家名为WindBorne Systems的公司。

该公司的前提很简单:对于地球及其大气的85%，我们没有关于那里天气状况的良好数据。缺乏建立初始条件的高质量数据是全球天气预报模式的一个主要障碍。该公司提出的解决方案是以它的名字命名的。

迪安和马什兰开始设计小型气象气球，他们可以将其释放到大气中，这些气球可以在世界各地飞行长达40天，传递有用的大气数据，这些数据可以打包出售给政府资助的大型气象模型。

气象气球提供了关于大气状况的宝贵数据，如温度、露点和压力等读数，这些数据是地面观测或卫星无法捕捉到的。这样的大气“剖面”有助于设置模型开始时的初始条件。问题是传统的气象气球很笨重，只能运行几个小时。正因为如此，美国国家气象局每天只从美国大约100个地点发射两次。

在这里插入图片描述迪安和马什兰开发了更小的气球，每个气球的质量不到6磅，设计用于在大气中停留数周。通过每天发射数百颗卫星，随着时间的推移，他们可以收集来自世界各地的数据。马什兰说，WindBorne现在运营着世界上最大的大气气球星座。

为了测试将这些气球数据同化到预报模型中，大约一年前，WindBorne开始开发自己的天气模型。它之所以选择人工智能预测，是因为基于复杂计算物理的传统模型需要超强的计算能力。

“当我们开始开发人工智能预测时，我认为它不会是一个更准确的模型，”迪恩说。“这是一种节省计算能力的方法。一台配备高性能GPU的台式电脑就可以运行它。与用于全球预测模型的计算能力相比，这是疯狂的。”

然而，很快，该公司的人工智能天气模型WeatherMesh在飓风预报等任务上的表现就优于传统的基于物理的模型。

迪恩说:“它的效果令人难以置信，令人震惊。”

WindBorne现在向客户提供两种产品:气球数据和令人印象深刻的精确深度学习模型。

人工智能预测的起源

大约六年前，一些使用深度学习技术进行天气预报的早期学术工作就开始了。这种形式的机器学习基于神经网络，本质上是连接的节点，以一种受生物大脑启发的方式分层。通过摄取数据，神经网络可以被“训练”来识别和分类信息，并识别模式和可能性。

计算机科学家对这种方法是否可行并不过于乐观，因为它与几十年来发展起来的天气预报科学有着天壤之别。传统的模型使用复杂的物理方程来模拟大气的流体运动。最强大的全球模型获取一组初始天气条件，然后通过这些方程，为几英里宽的网格提供16天内全球范围内的点预报。

ECMWF模式是世界上最好的基于物理的模式，尽管其他国家，包括美国、加拿大和日本，也运行全球天气模式用于各种预报目的。

最初对人工智能模型的怀疑在2022年有所缓解。物理学家兼数据科学家瑞安·凯斯勒(Ryan Keisler)提出了一些有希望的初步回报，他称之为“图形神经网络”。不久之后，总部位于中国的华为跨国公司的科学家发布了他们开发“盘古天气”模型的信息。这些后来发表在《自然》杂志上的初步结果发现，在某些情况下，中国的深度学习模型甚至优于基于物理的ECMWF模型。

这在研究深度学习技术和天气建模的一小群科学家中引起了轩然大波。Chantry和欧洲气象中心是关注的对象之一，谷歌的GraphCast等其他模型也发布了类似的承诺。2023年初，Chantry和几位同事开始研究这种可能性，并在2023年夏天，资助该中心的成员国同意支持模型的开发。

与致力于基于物理模型的开发人员相比，专注于ai的团队仍然很小，部分原因是这种方法需要更少的资源。事实上，少得多。开发WeatherMesh模型的WindBorne是一家大约有24人的公司。它的模型可以在一台功能强大的台式电脑上运行。

欧洲科学家们开始在其他深度学习模型的基础上建立一个操作模型。没花多长时间。到去年年底，新的人工智能/综合预测系统(AIFS)已经产生了“非常有希望”的结果。今年春天，欧洲的预测机构开始发布实时预测。

它们是如何工作的

关于深度学习预测模型，首先要了解的是，它根本不使用基于物理的大气模型。它也不是一个大的语言模型。Chantry说:“这并不像让Chat GPT预测天气。”

本质上，深度学习模型是通过学习来工作的。地球及其天气状况的快照显示在模型中——温度、压力、湿度、风，以及大气中不同层次的更多值。然后向模型展示六小时后地球周围的情况。然后，模型“学习”现在的天气和几小时后的情况之间的关系。

这个过程要重复很多次。这就是ERA5数据非常有价值的地方。它拥有近60年来每天、每隔几小时、世界各地的高质量数据。通过吸收所有这些数据，该模型在识别模式和建立当前条件之间的联系方面变得越来越好，比如北大西洋上的一个大型低压系统，以及这对未来一周到10天内欧洲和亚洲下游的天气意味着什么。

最初对这种方法的担忧之一是ERA5中是否有足够的数据来做出可靠的预测。但考虑到模型性能的提高，似乎确实有足够的信息。

Chantry和他的同事们面临的部分挑战是确定AIFS模型中哪些是有效的，哪些需要改进。例如，深度学习天气模型已被证明在预测飓风轨迹方面表现出色。但是，尽管这些模型在预测飓风走向方面做得更好，但相对于基于物理的模型，它们在预测风暴强度变化方面的表现往往较差。

目前，基于物理的天气模型不会有任何进展。它们是非常强大的工具，极大地提高了我们对重大事件进行5天、7天甚至10天天气预报的能力。它们受到世界各地预测人员的信任。但未来会是什么样子呢?

第一步可能是改变数据被吸收到基于人工智能的模型中的方式。目前，它们几乎普遍使用一组由物理模型产生的初始条件。也就是说，像ECMWF这样的模型花费大量的计算能力从浮标、地面站、气象气球、飞机、船舶、卫星和许多其他来源收集数据，然后合成一组全球网格点的初始条件。然后，所有的模型都将此作为地球天气的初始“状态”，并以此为基础进行预测。

然而，Chantry和其他人正在研究人工智能模型的技术，以吸收当前的观测数据，从而执行天气模型的数据同化和预测部分。他说，这实际上是一个比训练人工智能模型更难的问题。

“这个版本是完全革命性的版本，”他说。“这是一个令人着迷的研究课题，让人翻脸。”

这样的事情可能在10年后才会发生。