L1正则为什么更容易获得稀疏解

L1和L2正则常被用来解决过拟合问题。而L1正则也常被用来进行特征选择，主要原因在于L1正则化会使得较多的参数为0，从而产生稀疏解，将0对应的特征遗弃，进而用来选择特征。

但为什么L1正则会产生稀疏解呢？这里利用公式进行解释。
假设只有一个参数为$w$，损失函数为$L(w)$，分别加上L1正则项和L2正则项后有：

$$J_{L1}(w)=L(w)+\lambda |w|$$
$$J_{L2}(w)=L(w)+\lambda w^2$$

假设$L(w)$在0处的导数为$d_0$，即
$$\frac{\partial L(w)}{\partial w}{|}_{w=0}=d_0$$

则可以推导使用L1正则和L2正则时的导数。

引入L2正则项，在0处的导数
$$\frac{\partial J_{L2}(w)}{\partial w}{|}_{w=0}=d_0+2\times \lambda \times w=d_0$$

引入L1正则项，在0处的导数
$$\frac{\partial J_{L1}(w)}{\partial w}{|}_{w=0^{-}}=d_0-\lambda$$

$$\frac{\partial J_{L1}(w)}{\partial w}{|}_{w=0^{+}}=d_0+\lambda$$

可见，引入L2正则时，代价函数在0处的导数仍是$d_0$，无变化。而引入L1正则后，代价函数在0处的导数有一个突变。从$d_0+\lambda$到$d_0-\lambda$，若$d_0+\lambda$和$d_0-\lambda$异号，则在0处会是一个极小值点。因此，优化时，很可能优化到该极小值点上，即$w=0$处。

  这里只解释了有一个参数的情况，如果有更多的参数，也是类似的。因此，用L1正则更容易产生稀疏解。