深度学习：L1和L2正则化

L1和L2正则化，也有很多称为L1和L2范数，其实本质就是范数，主要作用是降低机器学习的过拟合，具体为在原有的损失函数J0的基础上加上一个正则项L，即J=J0+L

带有L1范数的损失函数如下：

带有L2范数的损失函数如下：

为什么正则化可以降低过拟合？

一种解释是之所有过拟合是因为权重参数过大或者过小，如果权重参数中大部分数值很小，近乎为0，则意味着数据很稀疏，实际中也就只有部分参数起作用，那也意味着非线性能力更差，线性能力更强，既然线性能力越强，则模型就越不容易过拟合（但是相应的模型准确率也会下降，这里不考虑准确率，只是从过拟合角度来讲），由于L1和L2是在J0的基础上的加的一个正值项，训练的时候相比没有正则项的表达式则会使得参数更小，从而达到过拟合的目的。

深度解释参考：https://blog.csdn.net/jinping_shi/article/details/52433975

 

L1正则化比L2正则化更易获得稀疏解的原因？

详细参考：https://www.cnblogs.com/whatyouknow123/p/7530153.html