卷积神经网络初始化三种方法总结

本文总结了卷积神经网络中常用的三种权重初始化方法:Gaussian初始化,Xavier初始化和MSRA初始化。Gaussian方法通过高斯分布随机生成权重;Xavier方法采用适当缩放的均匀或高斯分布;MSRA方法针对极深的ReLU模型设计,旨在直接从头开始解决训练问题。这些初始化方法有助于维持神经元输入输出的方差,从而改善网络的训练效果。
摘要由CSDN通过智能技术生成

1. Gaussian


Weights are randomly drawn from Gaussian distributions with fixed mean (e.g., 0) and fixed standard deviation (e.g., 0.01). 

This is the most common initialization method in deep learning.


权重分布符合高斯分布,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值