xavier初始化_初始化神经网络权重的方法总结

最新推荐文章于 2024-03-26 12:46:49 发布
最新推荐文章于 2024-03-26 12:46:49 发布
阅读量1.1k 收藏 6
点赞数
文章标签： xavier初始化
本文深入探讨了神经网络权重初始化的各种方法，包括零初始化、随机初始化、Xavier初始化、Kaiming初始化、Fixup初始化和LSUV初始化。强调了权重初始化在解决梯度爆炸和消失问题中的重要性，特别提到了ReLu非线性对初始化策略的影响。此外，还介绍了转移学习在预训练模型权重使用中的优势。
摘要由CSDN通过智能技术生成

在本文中，评估了权值初始化的许多方法和当前的最佳实践

f287ff0598f7b533e4e8c849a35145fa.png

零初始化

将权值初始化为零是不行的。那我为什么在这里提到它呢?要理解权值初始化的需要，我们需要理解为什么将权值初始化为零是无效的。

让我们考虑一个类似于上面所示的简单网络。每个输入只是一个标量X₁,X₂X₃。和每个神经元的权重是W₁和W₂。每次权重更新如下:

Out₁ = X₁W₁ + X₂W₁ + X₃W₁

Out₂ = X₁W₂ + X₂W₂ + X₃*W₂

正如你所看到的现在,如果权重矩阵W = [W₁W₂]被初始化为零,然后out1和out2都完全一样。

即使我们对两者都添加一个非零的随机偏差项，权值也会更新为非零，但它们仍将保持相同，因此隐藏单元的两个神经元都在计算相同的东西。换句话说，它们是对称的。

这是非常不可取的，因为这是浪费计算。这就是零初始化无法工作的原因。

随机初始化

现在我们知道权重必须是不同的，下一个想法是随机初始化这些权重。随机初始化比零初始化好得多，但是这些随机数可以是任意数吗?

假设你使用的是s型非线性。sigmoid函数如下所示。

22076b67235ca165f94af0e5664a51ec.png

我们可以看到，对于大到6的值，sigmoid的值几乎是1，对于小到-6的值，sigmoid的值为0。这意味着如果我们的权值矩阵被初始化为过大或过小的值，所有有用的信息都会在sigmoid函数中丢失。

如果我们使用ReLu非线性，这就不那么重要了，但是在将权重初始化为大值或小值时还有其他问题。有更好的方法来初始化权重。

Xavier初始化

最低0.47元/天 解锁文章
weixin_39762441
关注
神经网络Xavier随机初始化
01-06
深度学习——Xavier初始化方法 深度学习中Xavier初始化 推导所得的结果就是使该层中权重参数的每个元素都随机采样于均匀分布： U(−6a+b,6a+b)U(-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}})U(−a+b6​​,a+b6​​)...
初始化神经网络权重的方法总结
deephub
11-01 6483
在本文中，评估了权值初始化的许多方法和当前的最佳实践 零初始化 将权值初始化为零是不行的。那我为什么在这里提到它呢?要理解权值初始化的需要，我们需要理解为什么将权值初始化为零是无效的。 让我们考虑一个类似于上面所示的简单网络。每个输入只是一个标量X₁,X₂X₃。和每个神经元的权重是W₁和W₂。每次权重更新如下: Out₁ = X₁W₁ + X₂W₁ + X₃W₁ Out₂ = X₁W₂ + X₂W₂ + X₃*W₂ 正如你所看到的现在,如果权重矩阵W = [W₁W₂]被初始化为零,然后out1和out2都
深度学习笔记：神经网络权重确定初始值方法
Raine_Yang的博客
03-01 1703
神经网络权重不可为相同的值，比如都为0，因为如果这样网络正向传播输出和反向传播结果对于各权重都完全一样，导致设置多个权重和设一个权重毫无区别。在以下实验中，我们使用5层神经网络，每层神经元个数100，使用sigmoid作为激活函数，向网络传入1000个正态分布随机数，测试使用不同的随机数对网络权重的影响。其推导出的最优初始值为每一层初始权重值是1/√N，其中N为上一层权重个数。ReLU函数有自己独特的默认权重设置，称为He初始值，其公式为2/√N标准差的随机数，N为上一次神经元个数。
深度学习参数初始化（一）Xavier初始化 含代码
xian0710830114的专栏
06-30 3万+
Xavier初始化也称为Glorot初始化，因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法，他们的思想就是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。........................
Xavier初始化方法
最新发布
weixin_45780075的博客
03-26 575
Xavier初始化方法的主要思想是根据网络层的输入和输出的数量来确定权重的初始值，以保持信号在前向传播和反向传播过程中的稳定性。具体来说，对于一个具有n个输入和m个输出的全连接层（或卷积核），Xavier初始化将权重初始化为均值为0、方差为 2 / (n + m) 的高斯分布，或者在均匀分布中采样。Xavier初始化的优点在于，它能够在避免梯度消失或梯度爆炸的同时，使得每一层的激活值保持在一个较合适的范围内，有利于提高模型的训练效率和性能。
Neural Networks and Deep Learning习题解答--改进神经网络的学习方法
剑启郁兰的博客
07-16 3786
神经网络与深度学习习题解答 改进神经网络的学习方法 最近在看Michael Nielsen的Neural Networks and Deep Learning，这本书是以网页的形式放在网上，非常合适入门，附上传送地址：http://neuralnetworksanddeeplearning.com/chap1.html#learning_with_gradient_descent 国内哈工...
对Pytorch神经网络初始化kaiming分布详解
09-18
初始化神经网络权重是模型训练中的一个关键步骤，而PyTorch提供了多种初始化策略，其中最著名的就是He初始化（通常称为Kaiming初始化）。 He初始化由何凯明提出，是为了解决在使用ReLU（Rectified Linear Unit）...
keras之权重初始化方式
12-17
在神经网络训练中，好的权重 初始化会加速训练过程。 下面说一下kernel_initializer 权重初始化的方法。 不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 ...
Pytorch 实现权重初始化
09-18
初始化神经网络参数通常在模型的 `__init__()` 函数中进行。例如，对于卷积层 `nn.Conv2d`，可以使用 `nn.init.normal_()` 或 `nn.init.xavier_uniform_()` 对其权重和偏置进行初始化。对于批量归一化层 `nn....
机器学习笔记：权重初始化
相看两不厌，只有敬亭山
04-01 1803
权重初始化 预备知识 期望的性质 (1)E(C)=CE(C) = C \tag{1}E(C)=C(1) (2)E(aX)=aE(X)E(aX) = aE(X) \tag{2}E(aX)=aE(X)(2) (3)E(X+Y)=E(X)+E(Y)E(X+Y) = E(X)+E(Y) \tag{3}E(X+Y)=E(X)+E(Y)(3) (4)E(∑i=1naiXi+C)=∑i=1naiE(Xi)+CE...
深度学习 | Why and How：神经网络中的权重初始化
leadai的博客
12-04 608
北京 | 深度学习与人工智能研修 12月23-24日 再设经典课程 重温深度学习阅读全文> 正文共2268个字，8张图，预计阅读时间：6分钟。 前言 神经网络中的权重（weight）初始化是个常常被忽略的问题。 最近在手写一个Python的神经网络库(GitHub：hamaa——https://github.com/monitor1379/hamaa)，刚开
深度学习方法（二十一）：常用权重初始化方法Xavier，He initialization的推导
Bin 的专栏
08-09 5133
文章目录交叉熵目标函数更陡峭Xavier initialization [1][4]He initialization [2][3]He init 考虑ReLU函数He init 考虑Leaky ReLU函数结束语参考资料 交叉熵目标函数更陡峭 在论文[1]中给了一个图示，一定程度上说明了为什么Cross Entropy用的很多，效果很好。图中上面的曲面表示的是交叉熵代价函数，下面的曲面表示的是二次代价函数，W1和W2分别表示层与层之间的连接权值。 ) 在1986年 Rumelhart 已经发现：logi
深度学习——Xavier初始化方法
热门推荐
shuzfan的专栏
05-07 14万+
“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就去推导一下：每一层的权
神经网络权重是什么意思,神经网络权重调整方法
Supermen333的博客
09-18 7324
另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题（也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力），这种方法比起正式的逻辑学推理演算更具有优势。神经网络的权值是通过对网络的训练得到的。神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。神经网络的权值是通过对网络的训练得到的。
bp神经网络的训练方法,一文搞定bp神经网络
m0_54846070的博客
08-06 5368
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。...
神经网络反向传播(1)--权重和偏置值计算方式和参数更新
cymatt的博客
11-14 4254
反向传播权重和偏置导数求解以及参数更新
权值的初始化—-xavier
Lefenger
01-23 1492
对网络中的权值进行合理的初始化是为了保证在训练之前使网络的输出值与目标值的差距不是太大，比如输入（2,3）目标值为4，但网络的输出值为500，那么loss就太大了，训练也就很难进行。因此为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等（在一篇博客上看到的，下面有链接）。 因此就采用xavier来对权重进行初始化，本文只讨论如何使用，不讨论其中原理。 caffe中xavier初始化有三
xavier初始化_深入解读xavier初始化（附源码）
weixin_39750731的博客
11-26 852
论文是Understanding the difficulty of training deep feedforward neural networks。一篇感觉不错的翻译为【Deep Learning】笔记：Understanding the difficulty of training deep feedforward neural networks。一些不错的解读文章Understandin...
模型的权重初始化之Xavier初始化
06-13
Xavier初始化是一种常用的权重初始化方法，旨在解决神经网络训练时梯度消失或爆炸问题。Xavier初始化的基本思想是使每一层输入和输出的方差相等，从而保证梯度在前向和反向传播过程中能够得到有效传递。 具体地，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值