深度学习掩膜_交叉新趋势|采用神经网络与深度学习来预报降水、温度等案例(附代码/数据/文献)...

欢迎订阅微信公众号:『气象学家』

阅读建议 

随着人工智能的发展，拥有了越来越丰富的应用场景，气象行业也不例外，在突破传统预报方法的情况下，神经网络与深度学习来预报气象要素也取得了不错的效果，下面就给出一些比较典型的开源案例，条件允许不妨按图索骥实践一下，代码、数据、文献都给各位客官老爷一一奉上，也欢迎大家在圈内转载和分享！

内容目录

•  ConvLSTM 和 TrajGRU降水预测

• “基于雷达图像预测未来降水”模型

• "MOS-X"机器学习来做模式输出统计

• 进行中比赛·台风图像时间序列预测

• 推荐学习资料以及参考链接

前言介绍

本文所有的案例都是整理于互联网中，本文会提供相应的开源代码链接、数据集、相关论文。部分数据集可能需要申请才能获取。另外，就新旧方法的效果好坏也不是立马就能高下立判，但是无论是科研需求还是业务实践中去突破传统思维，用好新方法来解决旧问题都是非常值得一试的。其实，也无需先入为主地认为新方法效果就一定好，而传统方案就是一定是更差的，关键还在于应用技巧及方法的适用性。

典型案例

1.雷达回波外推和施行健的两篇降水预测文章介绍

施行健，香港科技大学四年级博士，师从杨瓞仁教授。现于Amazon AWS Deep Learning组实习，岗位为应用科学家。他的主要研究方向为深度学习，时空序列分析和计算机视觉。他是apache/mxnet的开发成员，同时是DMLC协会会员。

雷达回波外推是一个还算处女的方向，本质上来说这就是一个视频序列预测视频序列的问题，比如这里的使用已知的 5 帧预测未来的 20 帧雷达回波序列(通常每6分钟采集一次)。所以这个问题是可以使用现有的一些处理视频的方法来解决的，例如 RNN 和 Conv3D 等能处理时空信息的结构。

目前这个领域中文的一些资料很少有人介绍和总结。在这里Hzzone会介绍雷达回波外推这个问题、HKO-7数据集以及施行健的两篇 nips 文章，分别是 ConvLSTM 和 TrajGRU。

Hzzone用 pytorch 实现了这两篇文章，并在 HKO-7数据集上取得了和施行健近似的结果。原始代码在HKO-7，使用 mxnet 实现，其中有 ConvGRU和TrajGRU，没有ConvLSTM。作者的代码实现了整个数据加载、训练和测试流程，封装的也非常好，Hzzone在实现时也使用了一部分施行健的代码，Hzzone认为自己的实现要更容易理解一些。代码挂在了 Github(链接 https://github.com/Hzzone/Precipitation-Nowcasting)。如果你觉得代码对你有一定帮助，欢迎点赞这篇文章或 star 这个 repo。

在开始之前，可以通过 Machine Learning for Spatiotemporal Sequence Forecasting and Its Application to Nowcasting(https://www.hko.gov.hk/research_forum/RF2018_dyyeung.pdf) 和 香港科技大学施行健：深度学习用于短临降雨预报的一个基准和一个新模型 | 分享总结 (https://www.leiphone.com/news/201712/GnlC56qEtbrIqmI2.html)对雷达回波外推问题有一个比较清晰的认识。

数据集

 HKO-7 Dataset 雷达回波数据主要是通过天气雷达往四周发射电磁波并通过云层的反射得到，国内用的大多是多普勒雷达，下面是雷达的扫描示意图，天气雷达的覆盖区域是一个圆形区域：

因为是通过反射得到的，所以雷达一般部署在空旷地区。如果四周出现了如建筑物、灰尘等物体，会在雷达回波中出现明显的噪声，使模型难以收敛。

现在能找到的开源数据集主要有三个，其中两个来自于天池比赛，分别是 Tianchi CIKM AnalytiCup 2017(https://tianchi.aliyun.com/dataset/dataDetail?dataId=1085&userId=1)和 Tianchi IEEE ICDM 2018 全球气象AI挑战赛(https://tianchi.aliyun.com/competition/entrance/231662/information)。这两个比赛最终目的不相同，但是数据集的含义是一样的，降水量等价于雷达反射的 dBZ。这两个比赛一些分享的经验，有一定参考意义，最主要的是 Tianchi IEEE ICDM 2018 全球气象AI挑战赛 这个比赛的主题才是雷达回波外推，但是没有找到开源的比较好的解决方案。此处提供最佳方案链接代码暂未公开：https://tianchi.aliyun.com/forum/postDetail?postId=38113(第一名：CUHKSZ_Group )；少量开源代码：1.https://github.com/hyifan/Weather；2.https://github.com/chencodeX/Global-AI-Challenge-on-Meteorology

最后，则是 HKO-7 Dataset，这个数据集是施行健在 Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model 针对雷达回波外推这个领域没有统一的 benchmark 而提出的一个数据集，来源于香港天文台。因为不开放所以需要申请，填张表就 OK，学生的话要找导师去申请，然后用工作邮箱发过去。

这个数据集覆盖了香港周边的雷达回波数据，图片大小是480*480 的灰度图，涵盖了 2009 到 2015 的 下雨天 的数据，812 天用于训练、50 天用于验证、131 天用于测试。更详细信息可以去阅读论文。

首先数据集的转换关系是这样的：dBZ 是雷达的基本反射率(雷达扫出来的结果)，然后通过并裁剪到[0,255]之间转换成普通的 png 图片。这种转换对于最后的训练和测试没有多大的影响，只是个线性转换，在深度学习中这个范围才是更常见也更容易解决问题的。

最后，还有一种转换关系则是通过 Z-R 关系在 dBZ 和降水值 R(单位是 mm/h)之间转换：

 通过线性回归计算。

统计了全部数据集的降水值分布：

由于降水值分布不均匀࿰