F47.深度神经网络中权值初始化（即：卷积核的数值（权值）初始化）

最新推荐文章于 2024-07-03 19:02:13 发布

米亚123

最新推荐文章于 2024-07-03 19:02:13 发布

阅读量1.4k

点赞数 1

文章标签：深度学习权值初始化卷积核的选取神经网络权重卷积的权值初始化

本文链接：https://blog.csdn.net/qq_41900772/article/details/98228882

版权

本文探讨了深度神经网络中权值初始化的重要性，解释了为何需要随机初始化权重以避免梯度消失问题，从而加快学习速度。

摘要由CSDN通过智能技术生成

注：

神经网络训练时需要对权重进行初始化，若使用迁移学习则不需进行权重初始化（需使用预训练模型中的权重作为深度神经网络的初始权重）

1.吴恩达深度学习笔记(21)-神经网络的权重初始化为什么要随机初始化？https://blog.csdn.net/Harpoon_fly/article/details/84844621

文中重点内容：

1.把W^([1])设为np.random.randn(2,2)(生成高斯分布)，通常再乘上一个小的数，比如0.01，这样把它初始化为很小的随机数。
为什么是0.01，而不是100或者1000
2.我们通常倾向于初始化为很小的随机数。因为如果你用tanh或者sigmoid激活函数，或者说只在输出层有一个Sigmoid，如果（数值）波动太大，
当你计算激活值时z([1])=W([1]) x+b^([1]) , a([1])=σ(z([1]))=g^([1]) (z^([1]))如果W很大，z就会很大。
z的一些值a就会很大或者很小，因此这种情况下你很可能停在tanh/sigmoid函数的平坦的地方(见下图)

在这里插入图片描述
这些地方梯度很小也就意味着梯度下降会很慢&#