【深度学习基础知识 - 38】L1正则化和L2正则化的区别
概念L1正则化就是在损失函数中加的正则化项为模型参数的L1范数。L2正则化就是在损失函数中加的正则化项为模型参数的L2范数。目的通过在损失函数中增加权重正则化项,可以避免模型变得过于复杂或者说防止模型的参数过大,从而提升模型的泛化性能。L1正则化和L2正则化的差异加上L1范数容易得到特征的系数解,也就是很多参数为0,加上L2范数得到的特征解比较平滑,但是同样能保证解中接近于0的比较多。从倒数的角度来看,L1范数在零点处有个突变,也就是极小值点,因此很容易优化到这个极值点上。博主会
复制链接