一、过拟合与欠拟合
1.定义
过拟合与欠拟合都是机器学习建模过程中可能遇到的问题。欠拟合指模型在训练过程中对训练集拟合效果差,一般是由于模型的复杂度过低;过拟合指模型在训练过程中对训练集拟合效果好,但在测试过程中对测试集拟合效果差,即模型的泛化能力差,一般是由于建立的模型过于复杂。
2.出现原因
出现欠拟合情况的原因一般是模型还未完成学习,在后续的学习过程中一般能够得到改善。
出现过拟合情况的原因一般为:
1.训练集数据类型单一或数据量过小
2.训练数据当中噪声干扰过大
3.模型过于复杂(包含了过多特征)
二、正则化
正则化是解决模型过拟合问题的重要方法。具体做法是在损失函数中加入一个正则项后再求解参数 θ \theta θ,从而降低模型的复杂度,常用的正则项有L1正则项与L2正则项。
θ = a r g m i n θ [ L o s s ( θ ) + ∑ λ R ( θ ) ] = a r g m i n θ [ 1 m ∑ i = 1 m ( ( h θ ( x i ) − y i ) 2 + λ R ( θ ) ) ] \theta=argmin_\theta[Loss(\theta)+\sum\lambda R(\theta)]=argmin_\theta[\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x_i)-y_i)^2+\lambda R(\theta))] θ=argminθ[Loss(θ)+∑λR(θ)]=argmin