L1正则化容易产生稀疏解的原因

一般而言，当我们训练模型时过拟合的话，可以采取增大数据量，或者增加L1和L2正则化来解决过拟合问题，但是L1正则化容易产生稀疏解，下面就来解释一下为什么L1会产生稀疏解。


L(w)代表原本的损失函数，设其在w=0处的导数为：

引入L1正则项，在0处的导数：

引入L2正则项，在0处的导数：

可见，引入L2正则时，代价函数在0处的导数仍是d₀，无变化。而引入L1正则后，代价函数在0处的导数有一个突变。从d₀+λ到d₀−λ，若d₀+λ和d₀−λ异号，则在0处会是一个极小值点。因此，优化时，很可能优化到该极小值点上，即w=0处。