正则化的目的:防止过拟合
正则化中我们将保留所有的特征变量,但是会减小特征变量的数量级(参数数值大小)
L1正则化和L2正则化:可以看做是损失函数的惩罚项。所谓惩罚就是对于损失函数中的某些参数做一些限制。
L1正则化的模板叫LASSO回归 LASSO(套索算法)
L2正则化的模板叫做Ridge回归(岭回归)
L1正则化是指权值向量W中各个元素的绝对值之和(相当于1范数)
L2正则化是指权值向量W中的各个元素的平方和再求平方根(相当于求2范数)
L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
L2正则化可以防止模型过拟合,一定程度上,L1也可以防止过拟合
正则化方法
最新推荐文章于 2024-01-16 16:48:23 发布