Ridge & LASSO & Elastic Net

总结来说，Ridge、LASSO、Elastic Net是线性回归的三种方法，添加了不同惩罚因子的损失函数J(θ)。

---

首先简单介绍线性回归的相关概念。

损失函数（目标函数）：

---

为了防止过拟合（θ过大），在目标函数J(θ)后添加复杂度惩罚因子，也就是正则项。
正则项可以使用l1-norm、l2-norm，或结合l1-norm、l2-norm。