基于气象模式、气象观测数据的深度学习预报方法总结
项目介绍
这次任务的主要目的是利用历史观测数据和气象模式的预报数据来预报未来24小时的降水。这个问题的难度其实还是挺大的, 在预报时长上算是中短期气象预报。如果没有气象模式的预报结果,那这个任务其实是短时气象预报的核心任务。数千名科学家都曾想方设法研究,称其为973项目都不为过。不过这次有了气象模式的帮助,算是站在巨人肩膀上工作。气象模式发端与1922年理查森开始利用流体运动方程预报天气运动。自1946年冯诺依曼制造第一台计算机后,数值气象预报变成可能。近年来数值气象预报在气象业务中扮演着顶梁柱的决策,成为气象预报不可或缺的判断依据。
这个任务可以简化为一下建模内容:
观测数据 G [histime, feature1, width, height](t(-24)–>t(-1))
气象模式数据 M [pretime, feature2, width, height] (t(0)-t(24))
目标 降水场 P [pretime, 1, width, height] (t(0)-t(24))
红色区域就是模型的输出,其他时次都是已知资料。
1.只基于观测数据
本着模型由简入难的思想,首先测试的是只用观测数据,上一个时次或上几个时次的观测变量作为特征去预报未来几个时次。做了两种模型,一种把像素点看成是孤立的点,不考虑周边的像素。然后用一些机器学习算法(随机森林,lightGBM)去做一个晴雨或降水的预测。一种是用卷积的RNN模型(convLSTM和轨迹GRU)。第一种测试的时候,对于未来一小时的预报效果是最好的。但是随着预报时次的延长,和预报时刻和观测时刻的距离的拉长,预报的准确性逐渐降低。这也是在情理之中,体现了气象的混沌效应。而第二种方式,其实和第一种方式的效果比较类似,就是最初的几个小时预报的比较好,越往后效果越差。
(a)conv LSTM , (b) traj GRU
2.只基于模式数据
模式数据的优势就是模式本身做蕴含的动力学框架,并且基于这个动力学框架,融合了周边的大范围的边界条件信息。由于模式资料和预报时次的一对一关系。那本身可以看成是一个视频图像分割的问题。这里在空间上就采用了U-net的结构,并加入空间的attention机制来引入局地特异性。时间上对于模型的下采样的每层状态经过多层卷积传递和下一个时间点对应状态结合。
Attention U-net 图例
Temperal Attention U-net 图例
该模型的动力学框架实际上还是模式的,模型起到的作用是修正模式的预报偏差。空间上模型通过下采用考虑到不同尺度上的空间结构信息。时间信息通过状态特征在时间维度上变换结合来传递。时间信息的传递可以一定程度上减少气象混沌效应(预报时长越长,准确率越低)的困扰。
3. 观测和模式数据结合
这里用很短概念模型,我举一下例:
encoder-decoder形式非迭代式的LSTM
encoder-decoder形式迭代式的LSTM
结合了观测convLSTM的TAU-net
但是序列模型本身训练时比较难收敛的。我们训练的时候总是会碰到loss来回波动并不能下降的情况。我们的数据量在夏季来说只有近三年的。对于一个庞大的模型来说还是比较少的。在实际训练出来的效果相较于只基于模式的数据来说,并没有提高。当然模型设计这方面也可能没有设计的很好,毕竟只有3周的时间,能做的模型和参数调节比较有限,如果有更多的时间的话,模型的结构可以设计的更好一点,留给后来人了。