本文探讨了LR模型中正则化的概念，强调了参数衰减和稀疏性对防止过拟合和提高泛化能力的重要性。L1正则化不仅实现参数衰减，还能带来稀疏性，而L2正则化仅能实现参数衰减。通过凸优化的证明，L1正则化能够导致参数为零，实现模型简化，而L2正则化使参数接近于零。配合代码示例，深入理解L1和L2正则化的区别。
1.参数衰减和稀疏性
参数衰减，带来的好处是：通常来讲数据都具有一定波动性，减弱每个参数，防止某些参数过大，可以减弱数据varience带来的影响，防止过拟合，提高泛化能力。
稀疏性，带来好处是：1)大幅减少计算；2)减少参数，防止过拟合，提高泛化能力
2.l1和l2两种正则化
1l可以带来参数衰减和稀疏性，l2只能带来参数衰减。(l1和l2这两种特性是建立在凸优化基础之上，关于lr＋正则的凸优化证明见：http://qwone.com/~jason/writing/convexLR.pdf)
下图解释：l1可以通过尖峰使得最小值在w＝0处，而l2只能是最小值靠近w＝0处。
代码：
#encoding=utf-8
最低0.47元/天 解锁文章
扫一扫
2047
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
