【OpenMMLab】模型训练常见策略

一、模型训练范式

范式一：监督学习
在有标注的数据上进行模型训练，如VGG、ResNet等网络模型

范式二：自监督学习
通过恰当设计辅助任务,让模型在无标注的数据上进行模型训练，如MAE

当前的深度学习网络架构基本都是基于梯度下降的训练策略，其完整过程流程图为：

二、调参

参数对于模型的效果至关重要，下图给出了不同网络架构的最优参数配置：

常见的参数配置和训练策略包括但不限于：

1. 权重初始化策略

1）随机初始化，包括分布采样（如均匀分布或高斯分布）、Xavier方法和Kaiming 方法
2）预训练权重初始化

2. 学习率策略

包括退火策略、warm up策略

3. 优化器策略

包括动量优化器、权重衰减、自适应梯度

4. 权重保存策略

包括早停机制、模型权重平均（EMA）、模型权重平均（SWA）

5. 数据加强策略

在CV领域，常见的数据加强策略包括：几何变换、颜色变换、遮挡、旋转、翻转、图片组合（如mixup、cutmix等）