一般而言,当我们训练模型时过拟合的话,可以采取增大数据量,或者增加L1和L2正则化来解决过拟合问题,但是L1正则化容易产生稀疏解,下面就来解释一下为什么L1会产生稀疏解。
L(w)代表原本的损失函数,设其在w=0处的导数为:
引入L1正则项,在0处的导数:
引入L2正则项,在0处的导数:
可见,引入L2正则时,代价函数在0处的导数仍是d0,无变化。而引入L1正则后,代价函数在0处的导数有一个突变。从d0+λ到d0−λ,若d0+λ和d0−λ异号,则在0处会是一个极小值点。因此,优化时,很可能优化到该极小值点上,即w=0处。
L1正则化容易产生稀疏解的原因
最新推荐文章于 2024-05-11 11:14:54 发布