避免过拟合方法

过拟合

训练时候效果好，但是测试时候效果并不好

方法

• early stopping: 在发生过拟合之前提前结束训练，一般是设置一个训练间隔，多少间隔内loss没有继续下降或者精度没有提升的话，停止训练
• 数据集扩增（data augmentation）: 让模型见到更多的情况，可以最大化地满足全样本，但实际应用中对于未来事件的预测却显得鞭长莫及； 尽可能是收集更多真实的数据。
• 正则化（regularization）: 通过引入范数的概念，增强模型的泛化能力，包含L1与L2正则(也叫 weight decay)
• dropout :每次训练时舍去一些节点来增强泛化能力

正则化