欠拟合(Underfitting)也叫高偏差,是指我们的假设模型与训练样本之间的映射效果不好,通常可能的原因是模型太简单,或者我们所用到的参数太少。
另一个极端过拟合(Overfitting)是指与训练样本拟合地非常好,但是却对新数据的预测效果不好。可能的原因是我们选择了过于复杂的模型。
下面用Andrew Ng的两幅图来表示欠拟合和过拟合在线性回归和逻辑回归中的效果:
那么如何解决过拟合问题呢?主要有两种方法:
第一种,减少多余的参数。
第二种,正则化(Regularization)。
我们主要讲一下正则化。正则化方法是指向原始模型引入额外的信息,以便防止过拟合的一类方法的统称。一般分为L1正则化和L2正则化。本文讲的是L2正则化方法。
L2正则化是指在目标函数 J ( θ ) J(\theta) J(θ)后加一个惩罚项,使得权重更加接近于原点。
具体公式为:
J ( θ ) = 1 2 m [ ∑ i = 1 m C o s t ( h θ ( x ( i ) ) , y ( i ) ) + λ ∑ j = 1 n θ j 2 ] J(\theta)=\frac{1}{2m}[\sum_{i=1}^{m}Cost(h_\theta(x^{(i)}),y^{(i)})+\lambda\sum_{j=1}^n\theta^2_j] J(θ)=2m1[i=1∑mCost(hθ(x(i)),y(i))+λj=1∑nθj2]
其中 λ ∑ j = 1 n
【机器学习】过拟合问题
最新推荐文章于 2024-05-08 09:03:03 发布