【深度学习】正则化

最新推荐文章于 2024-03-18 16:08:31 发布

不尽木

最新推荐文章于 2024-03-18 16:08:31 发布

阅读量393

点赞数

分类专栏：深度学习文章标签：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42638401/article/details/124397758

版权

深度学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

深层神经网络会让模型变得更加强大，但是可能带来过拟合，解决的办法就是正则化。

正则化就是指在代价函数后加上一个正则化项

L2正则化

在代价函数后面加上神经网络各层权重参数W所有元素的二次方之和。此时的代价函数为

$J=\frac{1}{m}\sum_{i=1}^{m}L(a^{[l](i)})+\frac{\lambda }{2m}\sum_{l=1}^{L}\left \| W^{l} \right \|^{2}$

等式右边第一项是神经网络损失，第二项是神经网络各层权重参数W所有元素的二次方之和

正则化项相当于神经网络参数W的惩罚项，神经网路模型之所以发生过拟合，是因为参数W普遍较大，消除这一问题的方法之一就是让高阶参数w3,w4足够小，这样可以达到忽略不计的效果，也就是为了防止过拟合选择一些比较重要的特征变量，删掉很多次要的特征变量。但是实际上我们又希望利用这些特征信息，所以通过正则化约束这些特征变量，使这些特征变量权重很小，接近于0，这样既能保留这些特征变量，又不至于使这些特征变量的影响过大。

L1正则化

正则化项为神经网络各层权重参数W所有元素的绝对值之和

$J=\frac{1}{m}\sum_{i=1}^{m}L(a^{[l](i)})+\frac{\lambda }{m}\sum_{l=1}^{L}\left | W^{[l]} \right |^{2}$

L1正则化与L2正则化对比

靶心处是最优解，w*是正则化限制下的最优解。对于l2正则化来说，限定区域是圆，得到的解为0的概率很小，很大概率是非零的。对于l1正则化来说，限定区域是正方形，w*位于坐标顶点的概率很大，所以l1正则化的解具有稀疏性。

稀疏的解除了具有计算量的好处外，重要的是具有可解释性，只会留下对模型有帮助的关键特征。

正则化系数

起到权衡训练样本误差和正则化项的作用

dropout正则化

待补充

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【深度学习】正则化

深层神经网络会让模型变得更加强大，但是可能带来过拟合，解决的办法就是正则化。正则化就是指在代价函数后加上一个正则化项L2正则化在代价函数后面加上神经网络各层权重参数W所有元素的二次方之和。此时的代价函数为等式右边第一项是神经网络损失，第二项是神经网络各层权重参数W所有元素的二次方之和正则化项相当于神经网络参数W的惩罚项，神经网路模型之所以发生过拟合，是因为参数W普遍较大，消除这一问题的方法之一就是让高阶参数w3,w4足够小，这样可以达到忽略不计的效果，也就是为了防止过拟合选择一些比较
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。