qbytearray初始化全0_吴恩达深度学习 编程作业六 初始化(1)

初始化对深度学习网络的收敛速度和性能至关重要。本文探讨了全0初始化、随机初始化以及He初始化的效果,指出全0初始化可能导致对称性问题,随机初始化能打破对称性但过大权重会影响收敛,而He初始化在使用ReLU激活函数时表现最佳。
摘要由CSDN通过智能技术生成

好的初始化可以加速梯度下降的收敛速度,增加收敛的可能性。

1.初始化

np.zeros(),最为简单,里面的维度需要括号括起来。记住w和b的shape。

6c175fbe2f354ab21daac3f7246804fc.png

准确率0.5/0.5,全部分为类别0。

069993727d6a3224995bd60ccd441105.png

全部参数初始化为0,会使网络无法打破对称性,意味着每一层中的每个神经元学习的都是一样的东西。

随机初始化可以打破对称性,但是b可以初始化为全0。

2.随机初始化

w随机初始化np.random.randn(),b零初始化np.zeros(),w乘以10得到一个较大的初始化值。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值