神经网络优化(初始化权重)


使隐藏层饱和了, 跟之前我们说的输出层饱和问题相似, 对于输出层,我们用改进的cost函数,比如cross-entropy, 但是对于隐藏层, 我们无法通过cost函数来改进

更好的方法来初始化权重?

因为传统的初始化权重问题是用标准正态分布(均值为0,方差为1)随机初始化的,这其实是存在不合理的部分。

标准正态分布:

可以看出真实数据的分布其实是在靠近坡峰的部分,符合正态分布的。





回答: 神经网络权重初始化方法对模型的收敛速度和性能有着至关重要的影响。在深度神经网络中,随着层数的增多,梯度消失或梯度爆炸的问题容易出现。因此,权重初始化非常重要。一般来说,有四种常见的权重初始化方法:初始化为0、随机初始化、Xavier初始化和He初始化。\[2\] 首先,将权重初始化为0是不可行的。因为在误差反向传播法中,所有的权重值都会进行相同的更新。这会导致权重被更新为相同的值,并且失去了不同权重的意义。为了防止权重均一化,必须随机生成初始值。\[3\] 其次,随机初始化是一种常见的权重初始化方法。通过从某个分布中随机选择初始值,可以打破权重的对称性,避免梯度消失或梯度爆炸的问题。常见的随机初始化方法包括在一定范围内均匀分布或正态分布的随机数。这样可以使得每个神经元的初始权重值不同,有利于模型的学习和收敛。\[2\] 另外,Xavier初始化和He初始化是两种常用的权重初始化方法。Xavier初始化是根据输入和输出神经元的数量来确定初始权重的范围,以保持梯度的稳定性。He初始化是在Xavier初始化的基础上,将初始权重的范围缩小一半,适用于使用ReLU激活函数的神经网络。这两种方法都能有效地解决梯度消失和梯度爆炸的问题,提高模型的性能和收敛速度。\[2\] 综上所述,神经网络权重初始化方法对模型的性能和收敛速度有着重要的影响。随机初始化、Xavier初始化和He初始化是常用的权重初始化方法,可以有效地解决梯度消失和梯度爆炸的问题,提高模型的学习能力和收敛速度。\[2\] #### 引用[.reference_title] - *1* *3* [神经网络中的权重初始化](https://blog.csdn.net/A496608119/article/details/115529061)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [神经网络权重初始化](https://blog.csdn.net/weixin_44058333/article/details/99684821)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值