岭回归与Lasso

目录

一、正则项与岭回归、Lasso的关系

二、怎么理解加上正则项，模型复杂度降低？

三、岭回归

四、Lasso

---

一、正则项与岭回归、Lasso的关系

（1）在这篇文章里，讲述了正则项与正则函数

（2）正则项在机器学习中普遍存在，在做模型时，往往需要加上正则项。

（3）我们希望θ越小越好（最好等于0，L0正则），如果θ很大，就容易造成模型震荡，结果会不稳定。

（4）所谓的不稳定，就是数据进行很小的变换，模型都会有很大的转变。

加上正则项后，会使得模型曲线更加的平滑（起伏不是很大）。

（5）L0正则不是很好的求解，于是用L1正则近似成L0正则（Lasso)。

（6）L1正则优点：可以舍弃一些特征。缺点：正由于可以舍弃一些特征，它的稳定性不如L2，即某个特征一会有，一会没有