正则化

L1损失函数
$$L1=\frac{1}{N}\sum _{i=1}^N{\left(y_i-w^T{x}_i\right)}^2+C{\left|w\right|}_1$$

1. L1正则化可产生稀疏模型，具有选择作用
   经过上图观察可以看到，几乎对于很多原函数等高曲线，和某个菱形相交的时候及其容易相交在坐标轴，也就是说最终的结果，解的某些维度及其容易是0，比如上图最终解是:$$w=\left(0,x\right)$$这也就是所说的L1更容易得到稀疏解（解向量中0比较多）的原因。
2. L1正则先验分布服从拉普拉斯分布，具体推导过程如下：
   L2损失函数
   $$L1=\frac{1}{N}\sum _{i=1}^N{\left(y_i-w^T{x}_i\right)}^2+C\left||w\right|{|}_2^2$$
   
3. L1正则化具有避免过拟合作用
4. L1正则先验分布服从高斯分布，具体推导过程如下：