L1和L2正则化

最新推荐文章于 2024-10-09 12:04:42 发布

bestrivern

最新推荐文章于 2024-10-09 12:04:42 发布

阅读量585

点赞数

分类专栏： deep learning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/bestrivern/article/details/85266077

版权

deep learning 专栏收录该内容

49 篇文章 31 订阅

订阅专栏

一.L2正则化

$J(\omega ,b)=\frac{1}{m}\sum_{i=0}^{m}L(\hat{y^{[i]}},y^{[i]})+\frac{\lambda }{2m}\left\|\omega\right\|^{2}_{2}$

左半部分：经验风险右半部分：正则化项

右半部分计算如下：

$\left \| \omega \right \|^{2}_{2}=\sum_{l=1}^{L}\left \| \omega^{[l]} \right \|^{2}_{F}$

弗罗贝尼乌斯范数：

$\left \| \omega^{[l]} \right \|_F^{2}=\sum_{i=1}^{n^{[l-1]}}\sum_{j=1}^{n^{l}}(\omega _i_j^{[l]})^{2}$

梯度下降过程：

$d\omega ^{[l]}=(from backprop)+\frac{\lambda }{m}\omega^{[l]}$

$\omega ^{[l]}=\omega ^{[l]}-\alpha d\omega ^{[l]}=\omega ^{[l]}-((from backprop)+\frac{\lambda }{m}\omega^{[l]})=(1-\frac{\alpha \lambda } {m})\omega ^{[l]}-\alpha (from backprop)$

L2正则化也被称为权重衰减

二.L1正则化

$J(\omega ,b)=\frac{1}{m}\sum_{i=0}^{m}L(\hat{y^{[i]}},y^{[i]})+\frac{\lambda }{2m}\left \| \omega \right \|_{1}$

其他同上

三.L1与L2的对比分析

L2正则化的效果是对原最优解的每个元素进行不同比例的放缩, L1正则化则会使原最优解的元素产生不同量的偏移，并使某些元素为0，从而产生稀疏性。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。