【机器学习的一些问题】模型评估之过/欠拟合

过拟合：训练时很好，测试时不好。

欠拟合：训练时不好，测试时不好。

 

降低过拟合的方法：

• 从数据入手，获取更多的数据。更多的数据可以学习更多的特征，减少噪声的影响。当数据确实不足时，比如图像，可以通过平移旋转等操作制造新数据，甚至可以通过GAN制造。
• 降低模型复杂度。数据较少时，模型过于复杂是过拟合的主要原因，比如深度学习中的减少网络层数和神经元个数，决策树的降低深度和剪枝。
• 正则化方法，给模型加上一定的正则约束。
• 集成学习方法，把多个模型集成在一起，降低单一模型的过拟合风险。

 

降低欠拟合方法：

• 添加新特征，比如深度学习中的因子分解机和梯度提升决策树。
• 增加模型复杂度，比如线性模型添加高次项，神经网络模型添加网络层数和神经元。
• 减少正则化系数，如果有的话，需要针对性地减少。