L1正则化和L2正则化的区别

L1正则化和L2正则化的区别

参考博客：
https://blog.csdn.net/qq_15256443/article/details/85329481

     L1范数被称为“稀疏规则算子”。那么，为什么要实现模型的稀疏性：
筛选出重要的特征，使其他的特征权重为0    也就是某些参数等于0；

稀疏性起到了特征选择的作用，如果输入1000维的特征，并不是每个特征都起到了效果，筛选出重要的特征，使其他的特征权重为0，这样，在测试其他数据的时候，与模型没关系的特征就不需要考虑进去。
稀疏性也有很好的可解释性。

     L2范数   提高泛化能力，每个特征的权重 权重趋近于0  可以保证模型的稳定性，也就是参数的值不会太大或太小

L2范数也被称为“权重衰减”和“岭回归”，L2的主要作用是解决过拟合，L2范数是所有权重的平方开方和，最小化L2范数，使得权重趋近于0，但是不会为0。那么为什么参数的值小，就能避免过拟合。模型的参数比较小，说明模型简单，泛化能力强。参数比较小，说明某些多项式分支的作用很小，降低了模型的复杂程度。其次参数很大，一个小的变动，都会产生很大的不同。那么L2范数的好处:
理论方向：减少过拟合，提高泛化能力；


       在实际使用中，如果特征是高维稀疏的，则使用L1正则；如果特征是低维稠密的，则使用L2正则。