Datawhale AI夏令营——降水预测

Datawhale AI夏令营

进阶上分——赛题解析与新baseline解读

上分技巧

1. 数据角度, 本次数据的大部分是接近于0的值, 小部分会出现极值, 但是就是这部分极值反而是评分的关键.因此, 我们在使用数据时, 要想办法提高极值数据对于模型的贡献, 降低接近于0的值这部分数据对于模型的贡献；此外，越多的训练数据往往对于我们的模型会有更理想的拟合能力, 数据决定了模型的上限.
2. 模型角度, baseline中仅给出了卷积模型的示例, 但是针对赛题这种与时间序列强相关的问题, 时间序列中的特征也是需要考虑的一大因素, 可以尝试使用LSTM等对时间序列特征有良好提取能力的模型作为参考(因为赛题不允许使用任何开源模型)
3. 损失函数, 还是之前提到的数据问题, 需要对高值敏感, 加更大的惩罚项, 对低值不敏感, 及输出的低值对模型的贡献应相对来说小, 这里大家可以尝试根据输入值处在不同区间加不同权重的nn.MSELoss
4. 训练方式推荐大家在划分有验证集后, 每个epoch打印验证集loss, 以便调整超参数
5. 学习率、优化器、优化器的schedual、训练的周期、验证集和训练集划分比例等等…超参数的调整只能通过大量的实验才能找到合适的部分

新增baseline——增加xvaier初始化

收获

• 对降水预测问题的分析, 了解如何从数据的角度选择合适的训练方法及模型结构来满足任务需求
• 机器学习分析的基础, torch的使用及如何使用torch搭建一个降水预测模型
• 伏羲大模型和时序问题分析的相关知识
• 模型调优的技巧及解决预测与回归问题的baseline