datawhale夏令营第三期：地球科学——极端气象预测挑战赛

最新推荐文章于 2024-10-04 22:36:54 发布

fancyxiaoxiao

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量436

点赞数 3

文章标签：人工智能机器学习 python 大数据

本文链接：https://blog.csdn.net/fancyxiaoxiao/article/details/140739644

版权

赛题说明

给出赛题链接：http://competition.sais.com.cn/competitionDetail/532234/competitionData

比赛的目标：通过有效地利用伏羲气象大模型的输入数据，建立一个AI模型来预测未来72小时每小时的累积降水量。这将有助于提高极端降水事件的预测准确性，从而增强对天气极端事件的应对和预警能力。

baseline代码分析

代码是一个典型的深度学习模型训练和推理的流程（具体可以看第二期的笔记task3，里面有pytorch的范式）

模型构建部分

import torch.nn as nn

class Model(nn.Module):
    def __init__(self, num_in_ch, num_out_ch):
        super(Model, self).__init__()
        self.conv1 = nn.Conv2d(num_in_ch, num_out_ch, 3, 1, 1)

    def forward(self, x):
        B, S, C, W, H = tuple(x.shape)
        x = x.reshape(B, -1, W, H)
        out = self.conv1(x)
        out = out.reshape(B, S, W, H)
        return out

Model 类: 这个类定义了神经网络模型。它使用了一个卷积层 conv1，该层输入的通道数为 num_in_ch，输出的通道数为 num_out_ch。卷积核大小为 3x3，步长为 1，填充为 1。
forward 方法: 这个方法定义了数据在模型中的前向传播过程。在处理之前，首先将输入 x 重塑为适合卷积层输入的形状。然后通过卷积层 conv1 进行卷积操作，最后将输出再次重塑为原始形状。

模型定义、损失函数和优化器

in_varibales = 24
in_times = len(fcst_steps)
out_varibales = 1
out_times = len(fcst_steps)
input_size = in_times * in_varibales
output_size = out_times * out_varibales
model = Model(input_size, output_size).cuda()

# define loss
loss_func = nn.MSELoss()

# define optimizer
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

in_variables 和 in_times 表示输入变量的数量和时间步长，out_variables 和 out_times 表示输出变量的数量和时间步长。
input_size 和 output_size 分别计算了模型输入和输出的大小。
Model(input_size, output_size).cuda() 创建了一个模型实例，并将其移到 GPU 上进行加速。
nn.MSELoss() 定义了均方误差损失函数，用于衡量模型输出和真实值之间的差异。
torch.optim.Adam() 定义了优化器，用于更新模型的权重，这里使用 Adam 优化器，并设置学习率为 0.001。（Adam学习为大部分机器学习的通用优化器）

训练模型

num_epochs = 1

for epoch in range(num_epochs):
    for index, (ft_item, gt_item) in enumerate(train_loader):
        ft_item = ft_item.cuda().float()
        gt_item = gt_item.cuda().float()
        
        # Forward pass
        output_item = model(ft_item)
        loss = loss_func(output_item, gt_item)
        
        # Backward and optimize
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        # Print the loss for every 10 steps
        if (index+1) % 10 == 0:
            print(f"Epoch [{epoch+1}/{num_epochs}], Step [{index+1}/{len(train_loader)}], Loss: {loss.item():.4f}")