Task02 Datawhale AI夏令营-AI极端降水预报挑战赛

抽丝剥茧——降水预测baseline详解

必知概念入门

降水预测是一个典型的时间序列预测问题，涉及到以下关键步骤：

1. 数据集定义：建立训练数据和标签之间的关系，使用DataLoader方便数据取用。
2. 模型定义：使用PyTorch构建网络，根据数据维度实例化模型。
3. 训练配置：定义损失函数、优化器、训练周期，并训练模型，保存参数。
4. 模型推理：加载模型，输入测试数据，输出预测结果。

Part1 精读baseline

• 环境配置：使用pip install安装所需库。
• 导入库：导入所需的函数库。
• 数据配置：设置数据路径，定义年份和预测时间点。
• Feature类和GT类：用于处理特征数据和地面真实数据。
• 数据集定义：继承Dataset类，实现数据加载逻辑。
• 模型构建：定义模型类，实现前向传播。
• 训练逻辑：设置优化器，执行训练循环，进行模型参数更新。
• 模型推理：加载模型权重，执行预测，保存结果。

Part2 伏羲大模型初探

• 伏羲大模型：由复旦大学和上海AI Lab研发，提供长达15天的全球预报。
• 模型输入输出：FuXi模型使用前两步天气参数预测下一步，通过迭代生成长期预报。
• 级联模型架构：优化不同时间窗口的预报性能，减少累积误差。

Part3 时间序列分析入门

• 统计方法：自回归(AR)、移动平均(MA)、ARMA、ARIMA模型。
• 深度学习方法：RNN、LSTM、Transformer等，用于捕捉时间序列中的长期依赖关系。

模型构建与训练流程

1. 环境配置：通过! pip install -r requirements.txt安装所需库。
2. 导入库：导入os, pandas, xarray, torch等库。
3. 数据路径配置：设置特征数据和真值数据的路径。
4. Feature类和GT类定义：封装了特征数据和真值数据的读取逻辑。
5. 数据集定义：mydataset类整合了特征和真值数据的加载。
6. 模型定义：EnhancedModel类定义了模型结构，包含卷积层和激活层。
7. 损失函数定义：使用nn.SmoothL1Loss或nn.MSELoss作为损失函数。
8. 模型训练：使用Adam优化器进行训练，进行了20个epoch，并保存模型权重。
9. 模型推理：加载模型权重，对测试数据进行推理，并将结果保存。

代码示例

以下是构建和训练模型的代码示例：

# 导入必要的库
import os
import pandas as pd
import xarray as xr
from torch.utils.data import Dataset, DataLoader

# 定义数据集路径配置
feature_path = 'feature'
gt_path = 'groundtruth'
years = ['2021']
fcst_steps = list(range(1, 73, 1))

# 定义Feature类和GT类
class Feature:
    # ...

class GT:
    # ...

# 定义数据集类
class mydataset(Dataset):
    # ...

# 定义模型类
class EnhancedModel(nn.Module):
    # ...

# 实例化模型并将其移动到GPU
model = EnhancedModel(input_size, output_size).cuda()

# 定义损失函数
loss_func = nn.SmoothL1Loss()

# 训练模型
# ...

# 进行模型推理
# ...

小总结

通过task2的学习，深入理解了使用PyTorch和深度学习搭建预测任务的流程，掌握了时间序列预测的基础知识，并对伏羲大模型在气象预报中的作用有了初步了解。