神经网络L2正则化的应用

加入正则化目的:防止过拟合
本质原理:将权重W乘上一个小于1的系数, 减小权重,简化网络。(因为过拟合的原因就是网络复杂,模型学到了一些催毛求疵的东西。。。)

证明:
step1:设模型损失函数值为J(w, b):
在这里插入图片描述

step2:加入正则化后损失函数值改变为 :
在这里插入图片描述
其中λ为正则化系数,是在验证模型效果后需要调节的超参数,那么为什么分母有个‘2’呢,你往下看step5, 加了这个‘2’后step5的求导结果就少了个数字了,只是为了求导的计算方便。
图中黑红为下标为2,其实按照吴恩达老师的理解来所不太正确,应该下标是F,他是另一个范数。为了简单理解,这里我写的为2, 个人感觉知道什么含义就好了,想弄懂的请看吴恩达deeplearningAI第二课正则化那节。

step3:假设原损失函数对W求导为:
在这里插入图片描述

step4:则权重W更新公式为:
在这里插入图片描述

step5:加入L2正则化的损失函数对W求导为:
在这里插入图片描述
其中λ/m*W 是step2加入的 ‘正则化项’ 求导而得。

step6:则权重W更新公式为:
在这里插入图片描述

通过上式红色波浪明显看出,加入正则化后W更新时乘了一个小于1的数(因为m一般情况下很大),W变小,则权重W对于神经网络的影响变小了。
为了通俗易懂的解释上句话,请看下图,你也就懂了开篇的本质原理了:
在这里插入图片描述
其中蓝色×代表因加入正则化导致权重W接近于0, 所以整体神经网络变得简单,防止了过拟合。

以上根据吴恩达老师deeplearningAI第二课总结, 不懂或者有想法欢迎提问!

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BP神经网络中的L2正则化参数设置是用来平衡模型的复杂度和拟合能力。L2正则化通过在原有损失函数中增加一个正则化项来约束权重参数的大小。该参数设置可以通过交叉验证来确定,下面是一种常见的设置方法: 1. 首先,将数据集分为训练集、验证集和测试集。 2. 在训练过程中,使用训练集来更新模型的权重参数。同时,根据验证集上的性能表现来选择最佳的L2正则化参数。 3. 使用不同的L2正则化参数值进行训练,并记录在验证集上的性能指标,比如准确率或均方误差。 4. 对比不同L2正则化参数值下的性能表现,选择在验证集上表现最好的参数值。 5. 最后,使用选择的L2正则化参数值进行测试集上的性能评估。 需要注意的是,L2正则化参数的选择应该权衡模型的拟合能力和泛化能力。如果L2正则化参数设置过大,会导致模型过度拟合,而过小的参数则可能无法有效地控制模型的复杂度。 因此,在实际应用中,可以采用交叉验证等方法来选择最佳的L2正则化参数,以达到在训练集上得到较好的拟合效果,同时在验证集和测试集上具有较好的泛化能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [神经网络L2正则化](https://blog.csdn.net/gadwgdsk/article/details/80351291)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值