本文介绍了在构建深度神经网络时参数初始化的重要性，对比了全零填充、随机初始化及其导致的梯度消失和梯度爆炸问题，并详细讲解了He初始化方法，以解决这些问题。实验证明He初始化与ReLU结合效果良好。
逐步建立深层神经网络：框架总览和初始化参数
正式入坑ML中的神经网络已经半月有余。目前，主要是以吴恩达的课程基础进行进修，然却力感进度太缓，理解不够透彻，遂萌生了依据其课程《Deeplearning.AI》为基础，使用python逐步建立完成深层神经网络（deep neural network）。
以下是深层神经网络的构建框架：
这里因数据处理是很大的一块，我将放在最后进行处理。所以，先进行初始化参数（initialize_parameters）
初始化参数（INITIALIZE_PARAMETERS）
参数初始化的方法有三种：分别是全零填充（zeros）、随机填充（random）和He填充。因为偏置b可以使用全零填充，而权重W使用全零填充，将导致对称性问题，就此，下面将分别简略讲述三种初始化权重W 方法的特征。
全零填充（zeros）
权重W的初始化值，全为零。代码：
np.zeros()
以下图片是使用全零填充，更新一定轮数的神经网络返回的cost值ÿ
最低0.47元/天 解锁文章
5088
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
