神经网络中参数的初始化问题

最新推荐文章于 2024-03-26 12:46:49 发布
最新推荐文章于 2024-03-26 12:46:49 发布
阅读量715 收藏
点赞数
分类专栏： 优化算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44441131/article/details/106547116
版权

文章目录

1. 为什么神经网络不能初始化权重W为0？

参考博客

2. 随意初始化为非零的权重是否可行?

答案肯定是不行的！
随意的初始化权重可能会导致梯度爆炸和梯度消失。例如当神经网络为线性的，我们初始化所有参数W=0.1或者W=0.9，都会造成指数级影响
在这里插入图片描述

3. 如何解决神经网络中参数初始化问题？

  • 对于Relu函数我们一般使用0均值和方差为2/n[l-1]的正太分布
  • 对于tanh函数，使用0均值和方差为1/n[l-1]的正态分布，被称之为Xavier初始化
    在这里插入图片描述
InceptionZ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
神经网络参数初始化对训练结果的影响分析
01-08
神经网络的参数主要是权重（weights）：W， 和偏置项（bias）：b。训练神经网络的时候需先给定一个初试值，才能够训练，然后一点点地更新，但是不同的初始化方法，训练的效果可能会截然不同。 这个代码就是研究不同神经网络参数初始化对训练结果的影响分析。具体可以看这篇博客：https://blog.csdn.net/weixin_42521239/article/details/103887798
李宏毅机器学习课程自测练习题
热门推荐
xiongxyowo的博客
01-01 4万+
2022.1.1 13:25 施工中 目录(计划包含以下内容)： 简介 线性分类与感知机 数学基础 卷积神经网络 循环神经网络 自注意力机制 Transformer 自监督学习 自编码器 对抗生成网络 可解释AI与对抗攻击 领域自适应 深度强化学习 PART1. 序言 人工获得声音的特征与深度学习获得特征相比，以下哪个说法是正确的？ A. 人获得的声音特征一般更好，可解释性性强 B. 通过人工和卷积神经网络结合的方式获得特征综合性能更好 C. 深度学习直接处理声音波形数据获得的特征更全面，因此对声音
Xavier初始化方法
最新发布
weixin_45780075的博客
03-26 346
Xavier初始化方法的主要思想是根据网络层的输入和输出的数量来确定权重的初始值，以保持信号在前向传播和反向传播过程中的稳定性。具体来说，对于一个具有n个输入和m个输出的全连接层（或卷积核），Xavier初始化将权重初始化为均值为0、方差为 2 / (n + m) 的高斯分布，或者在均匀分布中采样。Xavier初始化的优点在于，它能够在避免梯度消失或梯度爆炸的同时，使得每一层的激活值保持在一个较合适的范围内，有利于提高模型的训练效率和性能。
神经网络权重初始化问题思考
qzq2514的博客
02-26 1371
众所周知，神经网络权重不能初始化为常数，更不能全部初始化为0。依据反向传播的思想可知：**每个权重的更新梯度与其之后相关的权重、神经元的输入、输出和其前一个神经元的输出有关(这里不进行具体推导)。**网上很多相关文章说不能初始化为0或者常数，这个结论肯定是正确的。但是原因却不是这样会导致权重不更新了。其实完全错误，只要有误差，就会更新。 现假设神经网络的通用形式形式如下： 有一个输入层，n个隐藏层...
深度学习之神经网络参数初始化问题
秋水顽石
07-17 3710
参考资料 以下是关于神经网络参数初始化问题的相关推荐资料 1、为什么神经网络参数不能全部初始化为全0？ 原网址为 2、什么时候可以将神经网络的参数初始化为0 3、神经网络weight怎样初始化 4、[神经网络中权重初始化问题] (https://blog.csdn.net/cherry_yu08/article/details/79116862) 里面讲了自己试验时遇到的关于初...
神经网络中常用的权重初始化方法及为何不能全初始化为0
thequitesunshine007的博客
12-28 1490
在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数r的设置可以按照神经元的连接数量进行自适应的调整。参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。
【深度学习（一）】神经网络的初始化
第五清风的博客
06-07 2746
神经网络的初始化——深度学习（一） 本系列的文章为科研期间的知识面整理，内容在时间前后上并没有联系，可以视作是独立的板块 本篇为开篇之作，主要讲述在神经网络中的初始化问题。一般在神经网络中，我们将偏置初始化为0，原因在于该因素对于网络中的梯度流动并无影响。实际上神经网络中，我们需要考虑的是如何对神经网络中的权重进行初始化。 提出问题 我们知道大部分的神经网络都是使用梯度下降法来进行优化的，因此初始点的选择往往会对整个训练过程的收敛速度和精确程度造成极大的影响。 另一方面，为了规避在训练过程中，正向计算
神经网络参数初始化方法
知行合一，止于至善
09-14 1万+
文章目录过大或者过小的初始化1. 所有的参数初始化为0或者相同的常数2. 随机初始化3. Batch Normalization4. Xavier限制均匀分布正态分布5. MSRA正态分布均匀分布总结及使用的概率公式 神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型...
神经网络中参数的初始化方法
Well~
01-20 7204
昨天做完了coursera上ng神经网络课程的第一节第四周作业，终于完整地实现了一个深层神经网络。当我准备整理一下思路和代码，写一个自己的神经网络时（其实就是copy代码），问题来了。我的代码的训练结果与课程作业中的结果差别很大： 左边是作业中的结果，右边是我自己的结果，显然我的结果有问题。在梯度下降过程中，我的代价函数一直保持在0.6几，似乎陷入了局部最优解（不知道是不是这个原因），而在左...
神经网络为什么需要随机初始化模型参数
01-20
在神经网络中，通常需要随机初始化模型参数。下面解释一下这样做的原因。 设有一个多层感知机模型，假设输出层只保留一个输出单元o1o_1o1​，且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的...
神经网络Xavier随机初始化
01-06
深度学习中Xavier初始化 推导所得的结果就是使该层中权重参数的每个元素都随机采样于均匀分布： U(−6a+b,6a+b)U(-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}})U(−a+b6​​,a+b6​​) 其中a是该层的输入个数，b是该...
小波神经网络参数初始化函数
11-06
小波神经网络参数初始化函数，根据小波分析理论初始化小波神经网络的参数，大大提高小波神经网络的收敛速度。
pytorch网络参数 weight bias 初始化详解
01-19
权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。 在pytorch的使用过程中有几种权重初始化的方法供大家参考。 注意：第一种方法不推荐。尽量使用后两种方法。 # not ...
神经网络的参数为什么不能初始化为全零
不期而遇
11-14 3788
训练神经网络时，随机初始化权重非常重要。对于Logistic回归，可以将权重初始化为零，但如果将神经网络的各参数全部初始化为0，再使用梯度下降法，这样将会完全无效。 如图所示，这是一个简单的两层神经网络(输入层是第0层)，如果将所有的w矩阵和b向量都初始为全0 则矩阵 是 是 是 将偏置项b初始化为0实际上是可行的，但把W初始化成全零就成问题了，它的问题在于给神经网络输入任...
为什么神经网络参数不能全部初始化为全0？
qq_15505637的博客
02-24 2万+
假设我们现在需要初始化的神经网络如下所示：我们初始化权值为其中W1代表输入层到隐藏层的权值矩阵，W2代表隐藏层到输出层的权值矩阵。假设网络的输入为[x1,x2,x3]，然后通过网络的正向传播，可以得出：由于我们可以知道:从上面可以知道，此时隐藏层的值是相同的，然后经过激活函数f后，得到的a4,a5仍然是相同的，如下：最终网络的输出为：此时，假设我们的真实输出为y,则均方误差损失函数可以表示为：到了...
神经网络权重初始化问题
aiwanghuan5017的博客
09-01 809
之前看Andrew大神的视频有介绍到神经网络权重需要随机初始化而不是全初始化为0的问题，其真正深层次的含义没有弄明白，所以结合一些资料（cs231n课程）希望能让自己之后再想到这个问题的时候能够快速地明白过来。 另外这篇文章其实是一篇译文，所以翻译不是很确定的地方也将原文中的英文语句复制在句后，如果有更合适的翻译也请留言告知一下，谢谢！ 参考文献: CS231n Convolution...
神经网络参数初始化
qq_26972735的博客
08-23 5915
    神经网络参数的初始化，在网络层数很深的情况下变得尤为重要。如果参数初始化的过小，很可能导致网络每一层的输出为都接近于0，那么可以这样认为每一层的输入都会很接近于0，在进行反向传播的时候，假如我们要更新某一层的参数W，该层的输出是g（WX）暂且先不考虑偏置项，则求W的梯度就会是：上一层的梯度 * 该层对g的梯度 * X，由于每层的输入都很小所以梯度就会很小，从而导致参数更新很慢，随着层数的增...
【神经网络参数初始化方法】
weixin_43675100的博客
10-17 1206
神经网络的参数学习、训练是一个凸优化的问题，在使用梯度下降算法进行优化时，参数初始值的选择会影响模型的泛化性能（局部最优解）、优化效率（梯度消失、梯度爆炸），因此其选择十分关键。值得讨论的是一个好的随机初始化方法，通常有三类：基于固定方差的参数初始化、基于方差缩放的参数初始化、正交初始化。
神经网络深度学习（五）初始化
china1000的专栏
09-03 947
神经网络初始化方法回顾
初始化bp神经网络参数
04-04
初始化BP神经网络参数一般有两种方法： 1. 随机初始化：将权重和偏置参数设置为随机值，通常使用高斯分布或均匀分布生成随机值，这种方法简单易行，但可能导致网络初始化时的性能不稳定。 2. Xavier初始化：该方法...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

InceptionZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值