总结:
- 增大数据集,丰富数据量,样本类别数量调整均衡
- 模型引入 dropout,引入BN层
- 损失函数加正则项
- 训练策略采用 early stopping机制。
- 降低模型的复杂度
- 数据清洗
过拟合的表现:在训练集上loss很小,但在验证集和测试集上精度不高
原因:参数量和数据量的极度不平衡,没有学习到数据通用特征,学习到些数据的特殊特征,导致泛化能力弱。如白天鹅和黑天鹅,仅用白天鹅训练,是否能识别黑天鹅,颜色是特殊特征,不应该作为显著特征。
方法1:丰富数据集,增大数据集,适当减少模型大小数据增强,预处理,保持训练集和测试集的同分布,无限接近现实世界的数据添加先验知识,增加特征的稀疏性:如L1,L2正则,relu,稀疏训练等网络结构上使用BN,保持网络每层数据的同分布,减少信息丢失集成学习思想:多个不同结构的模型组合学习,增强模型的鲁棒性。使用dropout类似算子。
attention机制:加权,突出重要通用特征。
方法2:
- 1 加正则项
- 2 从设计上降低模型的复杂度
- 3 减少训练次数
- 4 加大学习步幅
- 5 连续特征分箱
- 6 特征降维
- 7 正负样本调整均衡
- 8 采用多个弱分类器做集成学习
- 9 数据清洗
- 10剔除离群值
- 11交叉训练和验证
2、增加数据量;
3、dropout;
4、early stopping
用了Batch Normalization后,有时候可以弱化Dropout的使用。