Datawhale AI夏令营 地球科学赛道学习笔记

Part 1: 机器学习和深度学习基础

• 机器学习：作为人工智能的一个分支，它允许计算机通过数据学习并改进性能，无需明确编程。

  • 监督学习：从标记数据中学习输入和期望输出。
  • 无监督学习：在未标记数据中寻找结构和模式。
  • 任务类型：分类和回归。

• 深度学习：神经网络算法的进阶，模拟人脑神经元，具有多层结构，适用于大规模数据，效果显著。

Part 2: PyTorch 简介

• PyTorch：由Meta AI开发，基于Python的深度学习库，广泛应用于学术和工业界。
• 重要工具类：
  • Dataset：构建数据集的类。
  • Dataloader：数据加载类。
  • Model：定义模型的类。
• PyTorch的优势：灵活性、GPU支持、减少重复编程。

Part 3: 降水预测模型构建

• 降水预测：时间序列问题，属于监督学习的回归任务。
• 构建步骤：
  1. 数据处理：建立特征和真值数据之间的关系。
  2. 模型搭建：使用PyTorch构建神经网络，进行数据拟合。
  3. 模型验证：在测试数据上评估模型效果。

Part 4: 精读Baseline代码

• 步骤概览：定义数据集、模型、损失函数和优化器，进行模型训练和推理。
• 代码块讲解：
  1. 安装必要的库。
  2. 导入函数库。
  3. 配置数据集路径和时间戳。
  4. 定义Feature和GT类处理数据。
  5. 创建数据集类，继承自torch.utils.data.Dataset。
  6. 实例化数据集并构建DataLoader。
  7. 定义模型类，继承自nn.Module。
  8. 定义损失函数，通常使用MSELoss。
  9. 模型训练，使用Adam优化器。
  10. 模型推理，生成提交结果。

Part 5: 伏羲大模型初探

• 伏羲大模型（FuXi）：由复旦大学和上海人工智能实验室研发，提供长达15天的全球天气预报。
• 模型特点：采用级联架构，6小时时间分辨率和0.25°空间分辨率。
• 开源信息：
  • 论文原文：arXiv:2306.12873
  • Github：tpys/FuXi
  • 模型和数据获取渠道：
    • 百度网盘
    • Zenodo

Part 6: 时间序列分析入门

• 时间序列分析：涉及降水预测、风速预测等，与时间序列前后关联的任务。
• 传统方法：自回归（AR）、移动平均（MA）、ARMA、ARIMA模型。
• 深度学习方法：
  1. 循环神经网络（RNN）及其变体，如长短记忆网络（LSTM）。
  2. Transformer模型，如Informer、Autoformer等，因其全局注意力机制和强大的拟合能力。