正则

L1正则，先验符合laplace分布
L2正则，先验符合Gaussian分布

两者都是通过加上一个和项来限制参数大小，却有不同的效果
L1 正则化更适用于特征选择，
L2 正则化更适用于防止模型过拟合。

L2-Norm（岭回归(Ridge Regression)，即加了L2-norm正则化的线性回归）
L1-Norm（LASSO回归，即加了L1-norm的惩罚项的线性回归。）

L1正则化不可导的处理方法
1、坐标轴下降法
1）坐标轴下降法进行参数更新时，每次总是固定另外m-1个值，求另外一个的局部最优值，这样也避免了Lasso回归的损失函数不可导的问题。
2）坐标轴下降法每轮迭代都需要O(mn)的计算。（和梯度下降算法相同）
2、近端梯度下降（Proximal Gradient Descent）