回归中的缩减法

作用

通过引入惩罚项，能够减少不重要的参数。通过比较经过不同程度缩减得到的系数，我们可以看出特征的重要程度（系数越大，对结果影响越大），从而更好地理解数据，有助于模型的改进。

方法

• 岭回归：线性回归时，如果特征比样本点还多（n>m），此时输入矩阵X将不是满秩矩阵，则无法求逆，最小二乘法（Ordinary Least Squares）将无法求解：
  
  此时引入一个单位矩阵 λI ，从而使矩阵非奇异可以求逆：
  
  OLS增加如下约束便取得与岭回归同样的效果：
  
• lasso：对回归系数做了限定：
  
  在 λ 足够小时，一些系数会被缩减到零，便于更好地理解数据
• 向前逐步回归：与lasso效果相似，一种贪心算法，每一步都尽可能的减少误差。可以将系数与迭代次数的关系可视化，主要优点是，可以找出重要特征，及时停止对那些不重要特征的收集，便于理解现有模型并及时作出改进。

特点

可以将一些系数缩减成很小的值或直接缩减为零，会减小模型的复杂度，这是一个增加模型偏差的方法，所以应用缩减法时，模型的偏差会增加，方差会减小。