常见的深度学习参数初始化方法总结

最新推荐文章于 2025-03-25 17:47:05 发布
最新推荐文章于 2025-03-25 17:47:05 发布
阅读量3k 收藏 11
点赞数 3
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_25394043/article/details/104127522
版权

目录

1 随机初始化

2 Xavier初始化

3 He初始化

4 高斯随机初始化 with Batch Norm

5 Pre-train

Reference

在这里插入图片描述

1 随机初始化

 

2 Xavier初始化

每层的权重初始化公式如下：
在这里插入图片描述
上式为一个均匀分布，n_j为输入层的参数，n_(j+1)为输出层的参数

Xavier的推导过程是基于几个假设的，

其中一个是激活函数是线性的，这并不适用于ReLU，sigmoid等非线性激活函数；

另一个是激活值关于0对称，这个不适用于sigmoid函数和ReLU函数它们不是关于0对称的。

3 He初始化

Xavier初始化没有考虑激活函数，在某些非线性激活函数上表现不好（大部分激活函数都是有效的），如Relu。因此针对Relu推导了一次，与上面过程类似，只是方差要除以2。

每层的权重初始化公式如下：
在这里插入图片描述
为一个均值为0方差为2/n的高斯分布。

4 高斯随机初始化 with Batch Norm

 

5 Pre-train

在实际训练中，我们可以选择一个backbone网络，在其基础上做改动。该网络如果有一个已经训练好的在任务A上的模型（称为pre-trained model），可以直接将其放在任务B上做模型调整（称为fine-tuning）。

 

Reference

深度学习-六种权重初始化

一文详解深度学习参数初始化(weights initializer)策略

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 32万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
【探索AI】十三 深度学习之第2周：深度神经网络（二）参数初始化策略
weixin_48134870的博客
02-29 1257
深度学习 AI
深度学习之参数初始化
Vici__
08-13 1946
为什么要学习参数初始化？ 我们都知道，神经网络模型一般是通过随机梯度下降法来训练模型、学习参数。 我们在使用随机梯度下降法的时候需要先给参数赋初值，那么合理正确地初始化参数，能够影响到算法的收敛性、减小泛化误差等。 如果使用的框架是TensorFlow，那么在看完博客后可以看看下面这篇博客，整理了对变量进行初始化的各种函数API。 下面整理参数初始化的方式时只给出了公式，根据公式套...
深度学习中的参数初始化
Man
04-08 1万+
一、参数初始化分类及原理 1、简介 神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。 A well chosen initialization can: Speed ...
【AI知识】深度学习中模型参数初始化方法介绍
想买很多漂亮衣服但是买不起的博客
03-25 1012
【AI知识】深度学习中模型参数初始化方法介绍: 零初始化,随机初始化, Xavier初始化,He初始化
深度学习——参数初始化
weixin_44533869的博客
09-20 181
深度学习总结(一)——参数初始化 https://blog.csdn.net/manong_wxd/article/details/78734725 深度学习: 参数初始化 https://blog.csdn.net/JNingWei/article/details/78835390
深度学习参数初始化（weights initializer）策略大全
MIss-Y的博客
03-21 3万+
前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...
深度学习中常见的权重参数初始化方法
2301_76846375的博客
09-08 1594
Xavier 初始化适合 Sigmoid、Tanh 激活函数，能够保持输入和输出的方差平衡。He 初始化适合 ReLU 和 Leaky ReLU 激活函数，能帮助防止梯度消失问题。随机初始化用于打破神经元之间的对称性，但需要注意数值范围。预训练权重在迁移学习中常用，能够加速训练并提升效果。通过合理的权重初始化方法，深度学习模型可以更快地收敛，并获得更好的训练效果。
关于tensorflow的几种参数初始化方法小结
09-18
本文将对TensorFlow中常见的几种参数初始化方法进行总结。 1. **tf.constant_initializer()** 使用`tf.constant_initializer()`方法可以将变量初始化为一个常数值。例如，你可以设置所有权重都等于1或者0。在示例...
python PyTorch参数初始化和Finetune
12-25
这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结，也是我在写代码中用的算是“最佳实践”吧。最后希望大家没事多逛逛论坛，有很多高质量的回答。 参数初始化 参数的初始化其实就是对参数赋值。而我们...
深度学习之参数初始化方法以及常用的参数优化器
L888666Q的博客
09-29 344
参数初始化方法 全0初始化---不采用 每个权重被初始化成了相同的值，那么权重失去了不对称性 随机初始化 高斯随机化、均匀随机化 稀疏初始化 使用较少，全部初始化为0再随机挑选一些参数附上随机值 Xavier 适用于激活函数是sigmod或 tanh等S型曲线函数 Kaiming 激活函数是ReLU的专用初始值 参数优化器 SGD 随机梯度下降法，梯度的方向并没有指向最小值的方向时，寻找路线是‘之’字型效率低 Momentum 动量，参照小球在碗中滚动的物理规则进行移动 .
深度学习之‘参数初始化’
牛腩面的博客
03-21 521
1.Xavier 初始化 适用于 tanh , sigmoid Xavier初始化的基本思想是保持输入和输出的方差一致，避免了所有输出值都趋向于0,Xavier初始化的推导过程是基于线性函数的,所以他不适用于Relu W = tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in) node_in：输入的layer_...
深度学习参数初始化（一）Xavier初始化 含代码
热门推荐
xian0710830114的专栏
06-30 4万+
Xavier初始化也称为Glorot初始化，因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法，他们的思想就是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。........................
常见的参数初始化方法
bestxyj的专栏
08-08 1万+
常见的参数初始化方法 我们常见的几种初始化方法是按照“正态分布随机初始化——对应为normal”和按照“均匀分布随机初始化——对应为uniform”，这里就不再多说了，这里介绍几种遇见较少的初始化方法。 1、Glorot初始化方法 （1）正态化的Glorot初始化——glorot_normal Glorot 正态分布初始化器，也称为 Xavier 正态分布初始化器。它从以 ...
笔记—深度学习—参数初始化
qq_31595781的博客
03-11 320
一、引言 神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。目前，深度学习存在以下几种参数初始化策略： Constant Initialization； Random Initialization； Xavier Initialization； Kaiming Initialization； 本文首先将简单介...
【深度学习】初始化参数
littlemichelle
04-05 509
TensorFlow的过程中初始化参数的时候要注意哪些？ 感觉这道题就是问“神经网络参数初始化需要注意哪些问题” 观察sigmoid的函数 其输出值在0-1之间，而x过大时，激活函数会变得很平缓，也就是斜率很小，这样不利于学习新的权重。 观察上面计算更新权重值的表达式，权重的更新取决于激活函数的梯度，梯度太小限制神经网络的学习能力，也就是所谓的饱和神经网络。 因此我们不应该让输入值太...
深度学习基础-参数初始化详解
11-21 810
我们知道神经网络模型一般是依靠随机梯度下降优化算法进行神经网络参数更新的，而神经网络参数学习是非凸问题，利用梯度下降算法优化参数时，网络权重参数的初始值选取十分关键。首先得明确的是现代的网络参数初始化策略是简单的、启发式的。设定改进的初始化策略是一项困难的 任务，因为神经网络优化至今还未被很好地理解（即模型训练过程是一个黑盒）。大多数初始化策略基于在神经网络初始化时实现一些很好的性质。然而，我们并没有很好地理解这些性质中的哪些会在学习开始进行后的哪些情况下得以保持。
深度学习总结(一)——参数初始化
qq_42178122的博客
07-16 799
1.参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件： 初始化必要条件一：各层激活值不会出现饱和现象； 初始化必要条件二：各层激活值不为0。 2.把参数都初始化为0会是比较好的初始化？ 这样做其实会带来一个问题，经过正向传播和反向传播后，参数的不同维度之间经过相同的更新，迭代的结果是不同维度的参数是一样的，严重地影响了模型的性能。一般只在训练S
深度学习模型初始化
最新发布
03-31
<think>嗯，用户想了解深度学习模型参数初始化的方法。首先，我得回忆一下常见的初始化方法有哪些，比如全零初始化、随机初始化、Xavier、He初始化这些。用户可能想知道为什么初始化重要，不同的方法有什么优缺点，以及如何在代码中实现。 首先，权重初始化的重要性应该先解释清楚。如果初始化不当，比如全零初始化会导致梯度消失，因为每个神经元的更新都一样，没有不对称性。这点需要提到，可能引用到用户提供的引用[1]和引用[4]。 接下来，可能需要分点介绍不同的方法。比如全零初始化的问题，然后是随机初始化的改进，但普通随机可能不够好，特别是对于深层网络。这时候就需要Xavier初始化，考虑输入输出的维度，保持方差一致。用户提到的引用[4]里有提到He初始化，适用于ReLU，所以得解释为什么ReLU需要不同的方法，比如因为激活函数的特性导致方差不同。 然后，He初始化是Xavier的变种，针对ReLU的，可能需要公式说明，比如方差为2/n。这部分需要确保LaTeX格式正确，用$$包围公式，行内用$符号。比如$W \sim \mathcal{N}(0, \sqrt{2/n_{in}})$，同时代码示例可能用PyTorch的init方法，如引用[2]中的例子。 另外，用户提供的引用[3]提到SGD的步骤，虽然和初始化关系不大，但可能在训练过程中参数更新相关，不过暂时可能不需要涉及。但需要确保引用的正确使用，比如在提到Xavier时引用[4]，PyTorch实现引用[2]。 然后，正交初始化可能也需要解释，特别是对于RNN这类模型，防止梯度爆炸或消失。需要给出PyTorch的示例代码，比如nn.init.orthogonal_。 还需要注意用户提到的系统级指令，比如行内公式用$...$，独立公式用$$...$$，并且正确使用中文回答。生成相关问题部分要放在最后，可能需要包括初始化方法的选择、不同激活函数的影响、实验方法、常见错误以及PyTorch的实现等。 最后，检查是否所有引用都正确对应，比如引用[1]提到权重初始化的重要性，引用[2]是PyTorch的初始化方法，引用[4]提到He初始化和激活函数的关系。确保每个引用在正确的位置，比如在解释全零初始化时引用[1]，在代码示例时引用[2]，在He初始化时引用[4]。 可能还需要考虑用户是初学者，所以语言要尽量清晰，避免过于技术化，同时覆盖主要方法，并给出代码示例帮助理解。比如，Xavier和He的区别，为什么ReLU需要不同的处理，这些可能需要用简单的例子说明。 总结步骤应该是：重要性、常见方法（分点详细说明，每个方法有公式、解释、代码）、选择建议，然后相关问题。确保每个部分符合用户的格式要求，正确使用引用和LaTeX。</think>以下是深度学习模型参数初始化方法的详细说明，包含公式、代码示例及实践建议： ### 一、权重初始化的重要性 1. 避免梯度消失/爆炸：合理的初始化能保持各层激活值的方差稳定，防止反向传播时梯度剧烈变化[^1] 2. 打破对称性：非零初始化可防止不同神经元学习相同特征 3. 加速收敛：良好的初始值可使损失函数处于更易优化的区域[^4] ### 二、常见初始化方法详解 #### 1. 全零初始化（不推荐） $$ W = 0 $$ * 问题：导致所有神经元输出相同，反向传播梯度一致，失去学习能力 * 仅适用于偏置(bias)初始化 #### 2. 随机初始化 (1) 均匀分布初始化： $$ W \sim U(-\sqrt{\frac{1}{n_{in}}}, \sqrt{\frac{1}{n_{in}}}) $$ ```python nn.init.uniform_(weight, -math.sqrt(1./n_in), math.sqrt(1./n_in)) # PyTorch实现[^2] ``` (2) 正态分布初始化： $$ W \sim \mathcal{N}(0, 0.01) $$ ```python nn.init.normal_(weight, 0, 0.01) ``` #### 3. Xavier/Glorot初始化 * 适用于tanh/sigmoid激活函数 * 考虑输入输出维度平衡： $$ W \sim U(-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}}) $$ ```python nn.init.xavier_uniform_(weight) # 均匀分布版本[^2] nn.init.xavier_normal_(weight) # 正态分布版本 ``` #### 4. He/Kaiming初始化 * 专为ReLU族激活函数设计 $$ W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{in}}}) $$ ```python nn.init.kaiming_normal_(weight, mode='fan_in', nonlinearity='relu') # PyTorch实现 ``` #### 5. 正交初始化 * 保持矩阵正交性，适用于RNN $$ W = Q,\quad QQ^T = I $$ ```python nn.init.orthogonal_(weight) ``` ### 三、初始化方法选择建议 | 激活函数 | 推荐初始化方法 | |----------------|---------------------| | Sigmoid/Tanh | Xavier/Glorot | | ReLU/LeakyReLU | He/Kaiming | | SELU | LeCun正态初始化 | | Linear | He均匀初始化 | ### 四、PyTorch初始化实践 ```python # 对全连接层初始化 def init_weights(m): if type(m) == nn.Linear: nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu') nn.init.constant_(m.bias, 0.01) model.apply(init_weights) # ``` ### 五、特殊场景处理 1. 残差网络：使用更小的初始化尺度（如He初始化×0.5） 2. Transformer：通常使用$xavier\_normal$初始化注意力参数 3. BatchNorm层：默认使用$(weight=1, bias=0)$初始化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值