怎样模型防止过拟合

来源如此

总结： 

1.  增大数据集，丰富数据量，样本类别数量调整均衡
2. 模型引入 dropout，引入BN层
3. 损失函数加正则项
4. 训练策略采用 early stopping机制。
5. 降低模型的复杂度
6. 数据清洗

过拟合的表现：在训练集上loss很小，但在验证集和测试集上精度不高

原因：参数量和数据量的极度不平衡，没有学习到数据通用特征，学习到些数据的特殊特征，导致泛化能力弱。如白天鹅和黑天鹅，仅用白天鹅训练，是否能识别黑天鹅，颜色是特殊特征，不应该作为显著特征。

方法1：丰富数据集，增大数据集，适当减少模型大小数据增强，预处理，保持训练集和测试集的同分布，无限接近现实世界的数据添加先验知识，增加特征的稀疏性：如L1,L2正则，relu，稀疏训练等网络结构上使用BN，保持网络每层数据的同分布，减少信息丢失集成学习思想：多个不同结构的模型组合学习，增强模型的鲁棒性。使用dropout类似算子。

attention机制：加权，突出重要通用特征。

方法2：

• 1 加正则项
• 2 从设计上降低模型的复杂度
• 3 减少训练次数
• 4 加大学习步幅
• 5 连续特征分箱
• 6 特征降维
• 7 正负样本调整均衡
• 8 采用多个弱分类器做集成学习
• 9 数据清洗
• 10剔除离群值
• 11交叉训练和验证

2、增加数据量；

3、dropout；

4、early stopping
 

 用了Batch Normalization后，有时候可以弱化Dropout的使用。

Dropout VS Batch Normalization? 是时候放弃Dropout了