机器学习中的欠拟合与过拟合

欠拟合与过拟合

经过对数据样本的训练，拟合出一条直线。

• 欠拟合：图1中直线并不能很好地穿过数据样本点

• 过拟合：图3中这条线虽然很好地穿过了数据点，但是不能够对未来的数据有很好的预测，泛化能力差。
  
  
  为了解决过拟合问题，提出正则化的概念：

• L2范数正则化解决过拟合(Ridge Regression，岭回归):
  

• L1范数正则化解决过拟合（LASSO回归):
  

• L1与L2结合解决过拟合(Elastic Net,弹性网):
  

综合运用L1和L2正则化，按一定的占比分配。

• 岭回归求解：
  目标函数：
  
  求解：
  
  迭代公式：
  在迭代过程中$\theta$j的值会不断减小。
  为啥使用岭回归后过拟合的风险会减小呢？我们举个例子：
  假设为：
  
  其中$\theta$ 2=0.0001的数值比较小，对目标函数的影响较小，那么只剩两个特征（x1和x3）起作用，模型相对来说就比较简单。模型越简单，过拟合的风险就越小。通过训练数据来决定$\theta$的值。