江苏气象AI算法挑战赛亚军比赛攻略_DontMind队

最新推荐文章于 2024-08-21 09:12:39 发布
最新推荐文章于 2024-08-21 09:12:39 发布
阅读量650 收藏 17
点赞数 24
文章标签： 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gangyikeji/article/details/138498866
版权

关联比赛:  2022江苏气象AI算法挑战赛-AI助力强对流天气预报

江苏气象AI算法挑战赛亚军比赛攻略_DontMind队

成员介绍

enter image description here

一、赛题分析

本次比赛主要是针对大风/雷达回波/降水的短临预报，属于典型的时空序列预测问题，此类问题可以从分类和回归预测两个角度来解决。

  • 按照各气象要素阈值区间进行分类，可以转化为分类预测问题；
  • 从回归预测的角度又分为单变量回归预测和多变量回归预测。

由于大风和降水预测很难转换为分类预测问题，而且我们经过大量的模型试验表明，多变量回归预测很难同时达到最优，且很难超越单变量回归预测。
因此，我们最终采用了单变量回归预测思路，并利用过去一小时数据预测未来两小时各气象要素的时空演变。以下将围绕我们决赛最终采用的模型和策略进行介绍

enter image description here

二、总体设计思路

enter image description here

三、数据预处理

数据清洗： 去除雷达回波低值伪影以及异常降水值。
样本重采样和降采样： 由于数据分布不平衡问题，根据各要素阈值区间分布情况对样本进行重采样和降采样，以平衡不同强度样本占比。
数据集调整： 由于所给的数据集中相邻个例仅相差一帧，重复率过高，因此我们将临近个例的间隔调整为5帧，降低样本重叠率，提升模型训练稳定性。

enter image description here

四、模型选择与优化

风速预测—— SEResNet

enter image description here

雷达回波预测模型——TrajGRU

enter image description here

降水预测模型：双模型融合

模型一：U2Net

enter image description here

模型二：PhyDNet

enter image description here


双模型融合：两个模型预测结果取平均

五、损失函数

enter image description here


针对不同模型，设计不同损失函数，由于本赛题预测对象均有严重不平衡问题，因此针对MSE和MAE类型损失函数需要给与相应权重设置。而DiceLoss本身仅针对目标区域计算损失，因此无需再给定权重。
此外，针对降水，加入了60/90/120min的累计降水的损失作为正则项。

六、性能提升策略

  • Two-stage优化： 冻结模型部分层，调整损失函数权重，调低学习率，进行模型参数微调，提高强回波/降水的预测技能评分
  • 模型集成： 针对降水预测，融合U2Net与PhyDNet预测，提升模型泛化能力和稳定性
  • 偏差订正： 考虑了预测能力的时间衰减和阈值的影响，对模型预测进行偏差订正，提高强回波/降水的预测技能评分

    enter image description here

七、官方个例真实性

风速预测

enter image description here

 

enter image description here

雷达回波

enter image description here

 

enter image description here

降水预测

enter image description here

 

enter image description here


 

enter image description here

 

enter image description here

八、总结

  • 样本不平衡： 样本重采样+损失加权和正则/类别不平衡损失+Two-stage优化减轻类别极度不平衡导致的强回波/降水难预测问题
  • 模型性能及稳定性： 多模型集成进一步提高降水的整体预报技能评分及模型的稳定性
  • 后处理方法： 引入模型预测偏差订正后处理方法提高强回波/降水预报技能评分

    enter image description here


    本次比赛我们初赛和复赛均为第二，其中复赛实时评测阶段22天大部分时段取得前6成绩，其中10天取得第1，模型总体表现较为稳定

查看更多内容，欢迎访问天池技术圈官方地址：2022江苏气象AI算法挑战赛亚军比赛攻略_DontMind队_天池技术圈-阿里云天池
阿里云天池
关注
video prediction深度学习算法汇总
ygfrancois的博客
06-11 3507
SDC-Net：Video prediction using spatially-displaced convolution ECCV2018，未开源，来自英伟达团队，看结构是vid2vid前身，与另一篇CVPR2019 oral 《Improving Semantic Segmentation via Video Propagation and Label Relaxation》，三者应该来自同一团队。 Disentangling Physical Dynamics from Unknown F.
【竞赛分享】2022天池江苏气象AI算法挑战赛 思路分享 （初赛暂排第3）
m0_60673947的博客
06-01 2155
赛题理解 比赛任务为标准的时空预测问题，输入输出都为图片的序列。在本赛题中为输入过去20帧图片，预测未来20帧。每小时包含10帧数据，因此每个样本代表了4个小时时长的气象观测数据。 赛题中的变量有三种：雷达、降水、风速。官网对数据描述如下。 【气象雷达数据集】 气象雷达数据集是雷达回波数据的时间序列，其物理含义为3公里等高面的基本反射率因子。大气中的水滴含量越高，则雷达基本反射率越高。本数据集是对江苏多部S波段气象雷达质量控制及组网拼图后得到的，覆盖整个江苏省区域面积。数据取值范围为0-70（单位：dBZ）
PhyDNet：Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction
zmerengues的博客
09-03 3078
PhyDNet：Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction 参考博客来源： link 主要思想是试图用深度网络构建物理约束模型，方法是用卷积模拟偏导，用moment loss作监督，学到物理信息，从而对已有的网络（文中使用ConvLSTM）进行信息补充。 如图，右边为已有深度网络可以捕捉到的信息，本文试图使用深度网络通过偏微分方程来建模先验物理知识，即左边的信息。最后将物理信息
天池大赛｜2022江苏气象AI算法挑战赛亚军方案分享
Datawhale
01-23 1208
成员介绍团队：DontMind队队员：游枭雄，湘潭市气象局副研级高工队员：李扬，南京信息工程大学队员：梁钊明，中国气象科学研究院副研究员赛题解析本次比赛主要是针对大风/雷达回波/降水的短临预报，属于典型的时空序列预测问题，此类问题可以从分类和回归预测两个角度来解决。按照各气象要素阈值区间进行分类，可以转化为分类预测问题；从回归预测的角度又分为单变量回归预测和多变量回归预测。由于大风和降水预测很难转...
短临降水预测ConvLSTM实验_基于OpenStl
weixin_45703367的博客
10-17 596
测试：任务为输入过去10帧图像预测未来的10帧图像，而在本次实验中使用的是10 to 1的模式，所以需要构建两个数据集，一个是训练所用使用group为11的滑动窗构成，另外一个为group为20的滑动窗口构成的。数据集准备：使用ConvLSTM进行训练时，我发现使用10 to 10的训练方式效果没有滑动窗的预测效果好（不排除是我的参数配置存在问题），就是使用第1~10张图像去预测第11张，也就是10 to 1 的模式，这数据集处理时需要使用一个group为11的窗口去进行数据集的截取。
PhyDNet 开源项目教程
最新发布
gitblog_00136的博客
08-21 351
PhyDNet 开源项目教程 PhyDNet项目地址:https://gitcode.com/gh_mirrors/ph/PhyDNet 1. 项目的目录结构及介绍 PhyDNet 项目的目录结构如下： PhyDNet/ ├── data/ │ └── README.md ├── models/ │ ├── PhyCell.py │ ├── STConvLSTM.py │ └──...
ailiyun tianchi IEEE ICDM 2018 全球气象AI挑战赛 比赛代码.zip
08-24
全国大学生电子设计竞赛（National Undergraduate Electronics Design Contest），试题，解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考。程序均是实战案例，经过测试可直接运行。...
IEEE ICDM 2018 全球气象AI挑战赛比赛源码+学习说明.zip
01-14
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的竞赛项目学习资料，作为参考学习借鉴。...IEEE ICDM 2018 全球气象AI挑战赛比赛源码+学习说明.zip
2021 “AI Earth”人工智能创新挑战赛 AI助力精准气象和海洋预测.zip
03-18
人工智能（Artificial Intelligence，简称AI）是一种前沿的计算机科学技术，其核心目标是通过模拟、延伸和拓展人类智能来构建智能机器与系统。它融合了计算机科学、数学、统计学、心理学、神经科学等多个学科的知识...
“AI Earth”人工智能创新挑战赛：助力精准气象和海洋预测Baseline
06-06
聚焦全球大气海洋研究前沿方向，将人工智能技术应用到天气气候预测领域中，提高极端灾害性天气的预报水平，已成为整个行业研究的热点方向。发生在热带太平洋上的厄尔尼诺-南方涛动(ENSO)现象是地球上最强、最显著的...
u2net网络的预训练模型u2net.pth
10-22
u2net网络的预训练模型+抠图人群+通过python库backgroundremover直接抠图+冲吧
小白学习ENSO-GTC
weixin_45831829的博客
03-22 2060
延续前人提出的热带太平洋多元海气耦合器，设计了全球时空遥相关耦合器(GTC)，对全球海表温度(SST)之间的潜在遥相关进行建模。为此，将太平洋、印度洋和大西洋划分为组成动态图的小海洋斑块，其中相邻关系由先验知识人工构建，非相邻关系由深度学习方法从数据中学习。基于GTC，建立El Niño-Southern Oscillation (ENSO)深度学习预测模型(ENSO-GTC)，设计概率图卷积层学习时空遥相关，即动态图中的非相邻关系。为了保持物理一致性，提出了一种具有图总变分惩罚项的损失函数。
图像语义分割 pytorch复现U2Net图像分割网络详解
guoqingru0311的博客
10-16 4510
其会收集De_1、De_2、De_3、De_4、De_5、En_6模块的输出，将这些输出分别通过一个3x3的卷积层（这些卷积层的kerner的个数都是为1）输出的featuremap的channel是为1的，在经过双线性插值算法将得到的特征图还原回输入图像的大小；En_2 与 De_2采用的 block 是RSU-6（RSU-6相对于RSU-7 就是少了一个下采样卷积以及上采样卷积的部分，RSU-6 block只会下采样16倍，RSU-7 block下采样的32倍）；
Ubuntu下 u2net tensorrt模型部署
整理ing
10-17 702
u2net tensorrt部署加速
读论文：Convective precipitation nowcasting using U-Net Model
a44267113的博客
10-18 1211
使用U-Net模型来提供更加详细的即时天气预报
U2Net、U2NetP分割模型训练---自定义dataset、训练代码训练自己的数据集
weixin_38106878的博客
04-20 1万+
前言 博客很久没有更新了，今天就来更新一篇博客吧，哈哈； 最近在做图像分割相关的任务，因此，写这么一篇博客来简单实现一下分割是怎么做的，内容简单，枯燥，需要耐心看，哈哈； 博客的内容相对简单，比较适合刚接触分割的同学参考学习（这篇博客在算法训练上没有涉及到训练策略、数据增强方法，特意留下余地处给大家自行发挥） 内容简介 U2Net算法介绍 本博客训练效果截图展示 本博客代码框架介绍 数据集数据集准备 自定义dataset u2net、u2netp网络结构定义 训练代码 模型推理代码 总结以及博客代码的
U2Net论文解读及代码测试
热门推荐
ling620的专栏
11-25 3万+
论文名称： U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection 论文地址： https://arxiv.org/pdf/2005.09007.pdf 论文作者：Xuebin Qin, Zichen Zhang, Chenyang Huang, Masood Dehghan, Osmar R. Zaiane and Martin Jagersand University of Alberta, Canada gi.
U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection
weixin_45622568的博客
10-20 241
u2net:使用嵌套u结构进行显著目标检测 摘要：在本文中，我们设计了一个简单而强大的深度网络架构，U2-Net，用于显著目标检测(SOD)。我们的u2net架构是一个两层嵌套的u结构。该设计具有以下优点:(1)由于在我们提出的残差u块(RSU)中混合了不同大小的接受域，它能够从不同尺度捕获更多的上下文信息;(2)由于在这些残差u块中使用池化操作，它增加了整个架构的深度，而不会显著增加计算成本。这种架构使我们能够从头开始训练深度网络，而无需使用图像分类任务中的主干。我们实例化了两种模型，U2Net (17
U2-net网络详解
ThreeStones1029的博客
01-27 1万+
U2-net网络详解
人工智能在气象领域的应用前景与发展机遇
人工智能（AI）技术的快速发展和广泛应用为气象研究和应用领域带来了新的机遇和挑战。近年来，AI技术在气象领域的应用逐步成为相关热点方向。以下是AI在气象中的应用进展的知识点： 1. AI在天气气候中的应用： AI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值