L1,L2正则化的区别

1,L1会趋向于产生少量的特征,而其他不重要的特征都为0,会产生稀疏性,可以用来选择特征,也能一定程度上防止过拟合。而L_2会选择更多的特征,特征值都趋近于0,防止过拟合。

Lasso在选择特征时非常有用,而Ridge就只是规则化而已。所以在所有特征中只有少数特征起重要作用的情况下,选择Lasso进行特征选择。而所有特征中大部分特征都能起作用,而且作用很平均,那么使用Ridge会更合适。

2,为什么L1能产生稀疏性和一定程度上防止过拟合?(看参考链接的图)

正则化参数要做的就是控制两个目标之间的平衡关系:在最小化训练误差的同时正则化参数使模型简单。
1.最小化误差是为了更好的拟合训练数据。
2.正则化参数是为了防止模型过分拟合训练数据。
所以正则化参数要保证模型简单的基础上使模型具有很好的泛化性能。

参考链接:
https://blog.csdn.net/yinyu19950811/article/details/61922893
https://blog.csdn.net/gshgsh1228/article/details/52199870
https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/vividonly/article/details/50723852

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值