DataWhale AI夏令营 AI极端降水预报 - Task 2 笔记

学习笔记：深度学习在气象预测中的应用

1. 伏羲大模型介绍

• 研发背景：由复旦大学研发，上海人工智能实验室支持。
• 特点：全球预报能力长达15天，时间分辨率6小时，空间分辨率0.25°。
• 认可：成果被Nature杂志收录。
• 开源情况：预训练模型和样本数据已开源，但缺少训练源码。

2. 数据集构建与处理

• 数据集类定义：继承自torch.utils.data.Dataset，用于封装数据读取逻辑。
• 特征数据（Feature）：通过isel()和sel()方法从原始数据集中提取所需特征。
• 地面真实数据（GT）：与Feature类似，但包含更全面的时间戳和数据。

3. 模型构建

• 模型类：继承自nn.Module，定义网络结构和前向传播逻辑。
• 卷积层：模型中使用卷积层进行特征提取。
• 维度处理：确保输入输出维度匹配，进行必要的维度变换。

4. 模型训练

• 损失函数：使用均方误差（MSE）作为回归任务的损失函数。
• 优化器：使用Adam优化器，设置学习率0.001。
• 训练循环：外层循环控制训练轮数，内层循环根据batch size进行数据迭代。
• 正向传播与反向传播：计算损失，清空梯度，执行反向传播，更新模型参数。

5. 模型推理

• 模型加载：加载训练好的模型权重，设置为推理模式。
• 测试数据加载：加载.pt格式的测试数据文件。
• 推理过程：将测试数据通过模型进行推理，得到预测结果。
• 结果保存：将推理结果保存在CPU上，避免提交错误。

6. 时间序列分析方法

• 传统统计方法：
  • 自回归（AR）模型：当前值是前几个点的线性组合。
  • 移动平均（MA）模型：当前值是误差项的线性组合。
  • 自回归滑动平均（ARMA）模型：结合AR和MA。
  • 自回归积分滑动平均（ARIMA）模型：解决非平稳序列问题。
• 深度学习方法：
  • 循环神经网络（RNN）：捕捉时间序列逻辑，但存在训练难题。
  • 长短记忆网络（LSTM）：引入记忆单元，解决RNN的梯度问题。
  • Transformer模型：利用注意力机制，全局建模时间序列关系。

7. 学习心得与应用

• 深度学习的优势：在气象预测中，深度学习模型能够处理复杂的非线性关系，提供更准确的预测。
• 模型选择：根据预测任务的时间尺度（短期、中期、长期），选择合适的模型架构。
• 训练与调优：模型训练需要细致的参数调整和优化策略，以提高预测精度。
• 实际应用：深度学习模型在实际气象预测中的应用，需要考虑计算资源和实时性。

8. 未来展望

• 模型改进：探索更复杂的模型结构，如集成学习、注意力机制等，以提高预测的准确性和鲁棒性。
• 数据融合：结合多源数据，如卫星、雷达、地面观测等，提高模型的泛化能力。
• 实时预测：研究如何将深度学习模型应用于实时气象预测系统，提高预测的时效性。