降低过拟合和欠拟合的方法

降低过拟合的方法

1.从数据入手，获得更多的训练数据。使用更多的训练数据是解决过拟合最有效的手段，因为更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。直接增加实验数据很难，可以通过一定的规则来扩充训练数据。如，通过图像的平移，旋转，缩放等方式。还可以用GAN来合成。

2.降低模型的复杂度，在数据较少时，模型过于复杂是产生过拟合的主要因素。适当降低模型复杂度可以避免模型拟合过多的采样噪声。eg：在神经网络中较少网络层数，神经元个数。在决策树模型中降低树的深度。

3.正则化L1，L2。elastic

4.集成学习方法，把多个模型集成在一起，来降低单一模型的过拟合。如bagging

降低“欠拟合”的方法

1.添加新的特征，当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合，挖掘出新的特征可以有好的效果。

2.增加模型的复杂度，简单模型学习能力差，通过增加模型复杂度可以使模型有更强的拟合能力。eg：在线性模型中加高次项，在神经网络中增加网络层数或神经元个数。

3.减小正则化系数。他本来是用来防止过拟合的，但当模型出现欠拟合，需要有针对性的减小正则化。