L1正则,先验符合laplace分布
L2正则,先验符合Gaussian分布
两者都是通过加上一个和项来限制参数大小,却有不同的效果
L1 正则化更适用于特征选择,
L2 正则化更适用于防止模型过拟合。
L2-Norm(岭回归(Ridge Regression),即加了L2-norm正则化的线性回归)
L1-Norm(LASSO回归,即加了L1-norm的惩罚项的线性回归。)
L1正则化不可导的处理方法
1、坐标轴下降法
1)坐标轴下降法进行参数更新时,每次总是固定另外m-1个值,求另外一个的局部最优值,这样也避免了Lasso回归的损失函数不可导的问题。
2)坐标轴下降法每轮迭代都需要O(mn)的计算。(和梯度下降算法相同)
2、近端梯度下降(Proximal Gradient Descent)