正则化主要防止过拟合，通过限制模型复杂度。L1正则化产生稀疏模型，适用于特征选择，而L2正则化能防止过拟合，鼓励使用所有特征。L1正则化通过惩罚绝对值之和产生稀疏权重，L2正则化通过惩罚平方和使得权重分散。正则化参数λ用于平衡经验风险和结构风险，过大可能导致欠拟合，过小则可能过拟合。实践中，若不特别关注特征选择，通常L2正则化表现更优。
转载地址https://blog.csdn.net/liuweiyuxiang/article/details/99984288
0 正则化的作用
正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。
常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L2正则化有什么区别呢？
1 L1正则化与L2正则化
L1正则化的表达如下，其中α||w||为L1正则化项,L1正则化是指权值向量w 中各个元素的绝对值之和。
L2正则化项表达式如下，其中a||w||^2为L2正则化项，L2正则化是指权值向量w 中各个元素的平方和然后再求平方根。
L1和L2正则化的作用：
- L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以防止过拟合
- L2正则化可以防止模型过拟合
最低0.47元/天 解锁文章
1571
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
