在线性回归的问题里面,我们总会遇到一种问题:那就是过拟合问题
其实解决过拟合问题我们可以采用很多办法
**例如 : **
- 降低模型复杂度
- 减少数据维度
- 降噪
- 增加样本数
- 使用验证集
等等
我们在这里探讨的是岭回归(Ridge):
线性回归的代价函数公式就是误差平方和。岭回归的话其实就是在代价函数公式上加上 1/2 * 所有参数的平方的和。(如图)↓
而这个Lasso回归呢。其实就是在代价函数公式后面加上:
可以看到Lasso回归和Ridge回归的区别就是:在代价函数 后 加的正则化向不同:
Ridge加的是 α* 1/2 * θ方的和
Lasso加的是 α* 1/2 * θ的绝对值