权重偏差初始化的各种方法

最新推荐文章于 2024-05-14 21:09:28 发布
最新推荐文章于 2024-05-14 21:09:28 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 机器学习 deep-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NXHYD/article/details/104609530
版权
本文探讨了神经网络权重初始化的各种方法，包括全零初始化导致的陷阱，同一值初始化的问题，小随机数初始化的重要性，以及1/sqrt(n)方差校准策略。此外，还介绍了稀疏初始化和偏差初始化对打破对称性和加速收敛的影响。
摘要由CSDN通过智能技术生成

全都初始化为 0

偏差初始化陷阱： 都初始化为 0。

产生陷阱原因：因为并不知道在训练神经网络中每一个权重最后的值，但是如果进行了恰当的数据归一化后，我们可以有理由认为有一半的权重是正的，另一半是负的。令所有权重都初始化为 0，如果神经网络计算出来的输出值是一样的，神经网络在进行反向传播算法计算出来的梯度值也一样，并且参数更新值也一样。更一般地说，如果权重初始化为同一个值，网络就是对称的。

形象化理解：在神经网络中考虑梯度下降的时候，设想你在爬山，但身处直线形的山谷中，两边是对称的山峰。由于对称性，你所在之处的梯度只能沿着山谷的方向，不会指向山峰；你走了一步之后，情况依然不变。结果就是你只能收敛到山谷中的一个极大值，而走不到山峰上去。

 全都初始化为同样的值

偏差初始化陷阱： 都初始化为一样的值。

如果每个权重都一样，那么在多层网络中，从第二层开始，每一层的输入值都是相同的了也就是$ a1=a2=a3=.... $，既然都一样，就相当于一个输入了，为啥呢？？

如果是反向传递算法可以看出所得到的梯度下降法的偏导相同，不停的迭代，不停的相同，不停的迭代，不停的相同......，最后就得到了相同的值（权重和截距）。

 初始化为小的随机数

将权重初始化为很小的数字是一个普遍的打破网络对称性的解决办法。这个想法是

最低0.47元/天 解锁文章
AliceWanderAI
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【C语言工程实战笔记】初始化陷阱
汽车电子软件领域知识分享
06-22 375
如果要运行的任务是在定时器中断或回调中，一定要注意，在定时器初始化前对要运行的任务里的变量进行初始化，否则如果有空指针赋值，后果自己想象！
权重初始化方法及适用情况
Loong Cheng的博客
06-19 5804
1. Gaussian 从具有固定均值（例如0）和固定2的标准差（例如0。01）的搞死分布中随机抽取权重，这是最常用的. 一般使用截断高斯。 2. Xavier 这种方法是但的缩放均值或者搞死分布进行初始化 在caffe,他通过从零均值和特定方差的分布中绘制他们来初始化网络中的权重。 其中w是所有讨论的神经元的初始化分布，而n_in是摄入神经元的神经元的数量，使用的分布通常是高斯...
权重和偏置初始化
最新发布
i89211的博客
05-14 328
未初始化张量 (uninitialized tensor)定义：这是一个已分配内存但尚未设置具体值的张量。未初始化的张量可能包含随机数据，通常来自内存中之前存储的内容。创建了一个形状为size的未初始化张量。初始化张量 (initialized tensor)定义：这是一个已分配内存并已设置为特定值的张量。初始化可以使用特定的算法来设置张量的初始值，以适应不同的计算需求。创建了一个形状为size的全零张量，这是初始化的一种方式。
入门机器学习(八)--神经网络参数的反向传播算法
魔法师の屋子★↓☆
05-05 3722
1. 代价函数(Cost Function) 假设我们拥有一个如下图所示的神经网络，一共有四层，分别是一层输入层，两层隐藏层，一层输出层。下面定义几个变量的意义： m：训练样本的个数，共有m个样本 L：神经网络的层数，图中为4层 Sl:在第L层的单元个数（不包括偏置单元），比如S3=5 K：输出单元的个数，比如下图K=4 神经网络的输出有两种形式： ①单分类 输出只有一个输出...
权重初始化
tiankong_的博客
03-22 488
1.权重初始化的常见方式 （1）[-y,y]范围的均匀分布 （2）初始化为高斯分布（外加截断的高斯分布等）： （3）xavier 尝试问题：使得每一层输出的方差应该尽量相等 （4）MSRA 尝试问题：随着网络加深，上述方法收敛越来越难 2.权重初始化的目的 （1）加快收敛 （2）打乱对称性，增强学习效果 ...
权重初始化的几个方法
mtj66的博客，交流WX:SpringBreeze1104
01-28 784
https://www.imooc.com/article/70763 我们知道，神经网络的训练大体可以分为下面几步： 初始化 weights 和 biases 前向传播，用 input X, weights W ，biases b, 计算每一层的 Z 和 A，最后一层用 sigmoid, softmax 或 linear function 等作用 A 得到预测值 Y 计算损失，衡量预...
pytorch自定义初始化权重的方法
12-31
在常见的pytorch代码中，我们见到的初始化方式都是调用init类对每层所有参数进行初始化。但是，有时我们有些特殊需求，比如用某一层的权重取优化其它层，或者手动指定某些权重的初始值。 核心思想就是构造和该层权重...
Weights-Initialization-in-Nueral-Networks:神经网络中的权重初始化技术
05-25
神经网络权重初始化神经网络中的权重初始化技术•权重初始化：•建立基本的神经网络有点令人费解，最重要的是调优它以获得更好的结果是一件繁琐的工作，但是要考虑的第一步是初始化参数。 如果正确完成此部分，则...
动手深度学习 笔记 6
01-07
梯度消失和梯度爆炸 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l)...随机初始化模型参数 假设输出层只保留一个输出单元 o1 （删去 o2 和 o3 以
遗传算法matlab初始化种群代码-Neural-Network-optimized-with-genetic-algorithm:神经网络优
06-12
遗传算法matlab初始化代码神经网络优化遗传算法 这是一个简单的项目，它涉及为人脸检测目的而训练的神经网络扩展耶鲁 B 数据库（38 人的人脸集合）。 定向梯度直方图 (HoG) 特征已被提取并存储在单独的 .mat 文件中...
vis-basic-cnn:在这里，您可以可视化基本CNN的几乎所有方面（权重，偏差，层后输出等）
03-22
2. **偏差可视化**：了解各个层的偏差值如何影响整体的输出，这对于理解模型的初始化和训练过程很有帮助。 3. **层间输出展示**：观察经过不同层处理后的图像特征，可以揭示模型在处理图像时的逐步变化，有助于诊断...
深度学习之参数初始化—Xavier初始化
算法之美
11-24 1252
深度学习——Xavier初始化方法详细介绍，本文介绍一下深度学习参数初始化问题中耳熟能详的参数初始化方法——Xavier初始化。
深层神经网络参数初始化方式对训练精度的影响
u013093426的博客
07-05 4144
本文是基于吴恩达老师《深度学习》第二周第一课练习题所做，目的在于探究参数初始化对模型精度的影响。文中所用到的辅助程序在这里。
深度学习之:神经网络参数(权重)初始化
The Best or Nothing.
11-15 3539
参数初始化 在我们真正开始训练网络之前，我们必须要知道如何去初始化神经网络的参数。 Training your neural network requires specifying an initial value of the weights. A well chosen initialization method will help learning.      我们先来看看三种...
权重初始化（转）
weixin_42380181的博客
08-16 1958
一、参数初始化的重要性 参数初始化又称为权重初始化（weight initialization）或权值初始化。深度学习模型训练过程的本质是对weight（即参数 W）进行更新，这需要每个参数有相应的初始值。说白了，神经网络其实就是对权重参数w不停地迭代更新，以达到较好的性能。 模型权重的初始化对于网络的训练很重要，不好的初始化参数会导致梯度传播问题，降低训练速度；而好的初始化参数能够加速收敛，并且更可能找到较优解。如果权重一开始很小，信号到达最后也会很小；如果权重一开始很大，信号到达最后也会很大。 ..
【优化】-权重初始化
袁一白的博客
06-30 392
为啥要合适的初始化 【不放大缩小，方差稳定性】过大或者过小的初始化：过大，梯度爆炸，使得网络不收敛，参数更新的幅度也会很大，这就导致loss function的值在其最小值附近震荡；过小，梯度消失，更新的幅度也很小，着就会导致loss的收敛很缓慢，或者在收敛到最小值前在某个局部的极小值收敛了 【破坏对称性（差异性）】《速通》里面认为：初始化如果没有差异，那么梯度过程和结果也没有差异，冗余（多通道只是一个通道，多头attention只是一头，FC只是一个神经元），因此要破坏"对称性"（《花书》(&8
NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题
vvhvj的博客
10-07 407
在训练过程中，如果参数在一次不恰当的更新后，某个ReLU神经元在所有训练数据上都不能被激活（即输出为0），那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远都不能被激活。继承了paddle.nn.Layer类的算子中，可以在内部直接调用其它继承paddle.nn.Layer类的算子，飞桨框架会自动识别算子中内嵌的paddle.nn.Layer类算子，并自动计算它们的梯度，并在优化时更新它们的参数。当网络层数很深时，梯度就会不停衰减，甚至消失，使得整个网络很难训练，这就是所谓的梯度消失问题。
深度学习笔记-10.几种权重初始化方法
12-14 5676
深度学习中神经网络的几种权重初始化方法 https://zhuanlan.zhihu.com/p/25110150 https://blog.csdn.net/attitude_yu/article/details/81458172 https://www.cnblogs.com/hutao722/p/9796884.html 目录 梯度爆炸和梯度消失的原因 一、常数初始化(...
torch 权重初始化
04-01
在 PyTorch 中，权重初始化可以通过 nn.Module 的构造函数中的参数进行设置。常用的权重初始化方法有以下几种： 1. 随机初始化：使用 PyTorch 自带的 nn.init 模块中的函数进行随机初始化，如nn.init.xavier_uniform_()、nn.init.xavier_normal_()、nn.init.kaiming_uniform_()、nn.init.kaiming_normal_()等。 2. 预训练初始化：如果已经有预训练的模型，可以使用预训练模型的参数进行初始化。 3. 固定初始化：可以手动设置固定的值来进行初始化，如全零初始化（nn.init.zeros_()）或全一初始化（nn.init.ones_()）。 4. 自定义初始化：可以根据特定的需求，自定义初始化方法。 示例代码： ```python import torch.nn as nn class Net(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(Net, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size) nn.init.xavier_uniform_(self.fc1.weight) nn.init.zeros_(self.fc1.bias) self.fc2 = nn.Linear(hidden_size, output_size) nn.init.xavier_uniform_(self.fc2.weight) nn.init.zeros_(self.fc2.bias) def forward(self, x): x = self.fc1(x) x = nn.functional.relu(x) x = self.fc2(x) return x ``` 在上述代码中，我们使用了 nn.init.xavier_uniform_() 函数对权重进行随机初始化，使用 nn.init.zeros_() 函数对偏差进行初始化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值