通俗易懂--岭回归(L2)、lasso回归(L1)、ElasticNet讲解(算法+案例)

1.L2正则化(岭回归)

1.1问题

想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应的是左边的坐标；而我们想要达到的目的往往是中间的坐标，适当的特征和数据用来训练；但往往现实生活中影响结果的因素是很多的，也就是说会有很多个特征值，所以训练模型的时候往往会造成过拟合的情况，如右边的坐标所示。

1.2公式

以图中的公式为例，往往我们得到的模型是：${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3+{\theta }_4{x}^4$，为了能够得到中间坐标的图形，肯定是希望${\theta }_3$和${\theta }_4$越小越好，因为这两项越小就越接近于0，就可以得到中间的图形了。

对应的损失函数也加上这个惩罚项(为了惩罚$\theta$)：假设$\lambda =1000$

• m i n ( 1 2 m [ ∑ i = 1 m ( h θ ( x i ) − y i ) 2 + 1000 θ 3 2 + 1000 θ 4 2 ] ) min(\frac{1}{2m}[\sum_{i=1}^{m}(h_\theta(x^i)-y^i)^2+1000\theta_3^2+1000\theta_4^2]) min(2m1​[∑i=1m​(hθ​(x