深度学习——MSRA初始化

最新推荐文章于 2025-01-05 09:00:00 发布
最新推荐文章于 2025-01-05 09:00:00 发布
阅读量3w 收藏 54
点赞数 18
分类专栏： 深度学习基础 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/51347572
版权
本文详细介绍了MSRA初始化方法，源自何凯明的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》。讨论了初始化在网络深度增加时的重要性，指出传统的高斯初始化和VGG团队的策略的局限性。接着，解释了MSRA初始化的公式和推导过程，特别强调了在ReLU激活函数下的适用性。文中还提到了初始化对ReLU和PReLU的影响，并对比了MSRA与Xavier初始化的效果，特别是在深层网络中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本次简单介绍一下MSRA初始化方法，方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.

Motivation

网络初始化是一件很重要的事情。但是，传统的固定方差的高斯分布初始化，在网络变深的时候使得模型很难收敛。此外，VGG团队是这样处理初始化的问题的：他们首先训练了一个8层的网络，然后用这个网络再去初始化更深的网络。

“Xavier”是一种相对不错的初始化方法，我在我的另一篇博文“深度学习——Xavier初始化方法”中有介绍。但是，Xavier推导的时候假设激活函数是线性的，显然我们目前常用的ReLU和PReLU并不满足这一条件。

MSRA初始化

只考虑输入个数时，MSRA初始化是一个均值为0方差为2/n的高斯分布：

MSRA初始化方法

推导证明

推导过程与Xavier类似。

首先，用下式表示第L层卷积：

最低0.47元/天 解锁文章
deeplearning.ai第二门课——权重初始化
10-11
在深度学习领域，权重初始化是构建神经网络模型时的一个关键步骤。权重初始化得当与否直接影响着模型的训练效率和最终的性能。deeplearning.ai的第二门课程《提升深层神经网络》深入探讨了这一主题，其中包含了编程...
神经网络深度学习（五）初始化
china1000的专栏
09-03 1057
神经网络初始化方法回顾
MSRA初始化
qq_34555202的博客
01-03 564
方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. Motivation MSRA初始化 推导证明 补充说明 Motivation 网络初始化是一件很重要的事情。但是，传统的固定方差的高斯分布初始化，在网络变深的时候使得模型很难收...
MSRA初始化和Xavier初始化权值
Lin的博客
02-27 488
神经网络权值初始化方法 引言 神经网络权值的初始化对于网络训练速度以及收敛性有很大影响，因此我们需要合适的方法。传统的初始化的方法是使用固定标准差的高斯分布，在caffe中使用的是经典的Xavier初始化方法，当然直接进行预训练也是初始化的一种好的方法，一个好的初始化可以有助于收敛到一个优秀的局部最优解，且收敛速度快。但这些方法在ReLU系列以及网络层数较深时，这样的初始化无法得到很好的结果。何凯明大佬提出了MSRA初始化。MSRA初始化可以说是专门为ReLU系列激活函数特意设计的。具体可参考文章《De
揭秘LLM训练系列：掌握大模型训练的核心概念与技巧！
2401_85375151的博客
01-05 882
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。预训练是指在模型的初始阶段，使用大量数据对模型进行训练，以便让模型学习到通用的特征和知识。这些特征和知识可以是语言模型中的词嵌入，或者是图像识别模型中的视觉模式。通常发生在模型开发的早期阶段。目的是在大规模数据集上学习通用特征，为后续任务奠定基础。不针对特定任务，而是追求广泛的适用性。
caffe-msra初始化
Iriving_shu的博客
09-17 1668
简介：本文学习来自微软的msra初始化，来自论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》 目前在深度神经网络的训练过程中，初始化过程影响着网络最终的训练结果。网络越深收敛更加困难，为了处理这个问题，VGG团队先训练一个8层的网络，再用训练好的模型去初始
神经网络参数初始化（MSRA、Xavier）
qq_37705280的博客
04-26 1064
再推荐一篇感觉原理讲的很好的文章：https://blog.csdn.net/u014696921/article/details/53819512
权值初始化 - Xavier和MSRA方法
weixin_30323631的博客
06-13 1471
设计好神经网络结构以及loss function 后，训练神经网络的步骤如下： 初始化权值参数 选择一个合适的梯度下降算法（例如：Adam，RMSprop等） 重复下面的迭代过程： 输入的正向传播 计算loss function 的值 反向传播，计算loss function 相对于权值参数的梯度值 根据选择的梯度下降算法，使用梯度值更新每个权值参数 初始化 神经网络的训练过程是一个迭代的...
深度学习简明教程系列 —— 基础知识（合集）
编程之路
08-25 7658
参考：https://www.zhihu.com/question/53405779 https://zhuanlan.zhihu.com/p/61880018 第一章 模型评估 1.1 基础概念 假设有m个样本，其中有a个样本分类错误，则有：
深度学习路线总结 (含链接)
2301_79695159的博客
07-25 1152
深度学习资料链接总结
2020-7-18 吴恩达-改善深层NN-w1 深度学习的实用层面(课后编程1-Initialization-3种不同方法对比-He/MSRA初始化)
weixin_42555985的博客
07-19 404
原文链接 如果打不开，也可以复制链接到https://nbviewer.jupyter.org中打开。 初始化 Initialization1.NN模型 欢迎来到改善深层NN的第一个编程作业。 训练NN需要指定权重初始值。一个好的初始化方法将有利于模型的学习。 如果你已经完成了前面的编程作业，那么你应该根据指导进行了权重初始化，到目前为止它已经成功运行。 但是对于一个新的NN你如何初始化呢？通过本作业，你将会了解不同的初始化将会有怎样不同的结果。 一个好的初始化能够 加速梯度下降的收敛 增加梯度下降收敛到
深度学习-网络参数初始化Xavier与MSRA
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
07-30 2550
权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）。可参考博客。 重点介绍xavier与msra。 xavier初始化        对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。推导...
深度学习中初始化方法：xavier和MSRA
choose_c的博客
09-08 491
Xavier初始化方法 源自论文：Understanding the difficulty of training deep feedforward neural networks Xavier;Bengio 思想：正向传播时，每层激活值的均值为0，方差相同，反向传播时，每层状态值的梯度的均值为0，方差相同。 方法：权重满足均匀分布 , 如果各层大小相同则方...
CNN数值初始化——xavier（上）
zhongshaoyy的博客
10-28 1万+
作者：冯超 链接：https://zhuanlan.zhihu.com/p/22028079 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美
卷积神经网络（三）：权值初始化方法之Xavier与MSRA
Fire_Light_的博客
03-14 9586
基础知识 首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在： 一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。 这里先介绍一个方差相乘的公式，以便理解Xavier： Xavier 现在我们先来分析一层卷积： 其中ni表示输入个数。 根据概率统计知识我们有下面的方差公式：...
人工智能NLP之MSRA-万字综述 直击多模态文档理解
人工智能讲师分享前沿技术
08-25 619
对于视觉信息丰富的文档的结构不仅仅由文本内容的结构决定,与布局、排版、格式、表/图结构等视觉元素同样相关.例如收据、证书、保险文件等.Liu等人提出的利用图卷积神经网络建模视觉元素丰富的文档,首先通过OCR系统获得一组Text Blocks,每一个Text Block包含其在图像中与文本内容的坐标信息,将其构成一个完全连通的有向图,即每个Text Blocks构成一个节点,通过Bi-LSTM获取节点的初始特征,边的初始特征是相邻文本块与当前文本块之间的相对距离以及这两个文本块的长宽比。
对 caffe 中Xavier， msra 权值初始化方式的解释
northeastsqure的专栏
11-14 6271
If you work through the Caffe MNIST tutorial, you’ll come across this curious line weight_filler { type: "xavier" } and the accompanying explanation For the weight filler, we will use the
深度学习之参数初始化（二）——Kaiming初始化
热门推荐
CodeTutor
06-13 3万+
。
Deep Learning 之 参数初始化
BVL的博客
04-26 9822
本文仅对常见的参数初始化方法进行总结（大部分内容来自deep learning一书），原理性的问题不进行过多的探讨。**Deep Learning中参数初始化十分重要，一般来说有以下这些原因：** 1.初始点的选取，有时候能够决定算法是否收敛 2.当收敛时，初始点可以决定学习收敛的多快，是否收敛到一个代价高或低的点 3.初始化也可以影响泛化 4.初始参数需要破坏不同神经元间的“对称性”，因为
pytorch中的MSRA初始化
最新发布
03-29
### PyTorch中MSRA初始化方法的用法与实现 在深度学习框架PyTorch中，MSRA初始化也被称为Kaiming初始化[^3]。这种初始化方式由何凯明等人提出，特别适用于ReLU激活函数以及更深的神经网络结构。其核心思想是通过调整权重分布的标准差来保持信号在网络中的传播稳定性。 #### Kaiming 初始化的核心原理 Kaiming初始化基于方差缩放的思想，在正向传播和反向传播过程中维持梯度的稳定传递。对于`mode='fan_in'`的情况，初始权重服从以下分布： - 正态分布： \[ W \sim N(0, \sqrt{\frac{2}{\text{fan\_in}}}) \] - 均匀分布： \[ W \sim U(-\sqrt{\frac{6}{\text{fan\_in}}}, \sqrt{\frac{6}{\text{fan\_in}}}) \] 其中，`\text{fan\_in}`表示输入单元的数量[^4]。 --- #### 在PyTorch中应用MSRA/Kaiming初始化 以下是具体实现代码示例： ```python import torch.nn as nn import torch.nn.init as init def initialize_weights_kaiming(module): """递归地对模块及其子模块应用Kaiming初始化""" if isinstance(module, (nn.Conv2d, nn.Linear)): # 使用Kaiming均匀分布初始化 init.kaiming_uniform_(module.weight, nonlinearity='relu') # 针对ReLU激活函数优化 if module.bias is not None: init.constant_(module.bias, 0) # 将偏置项初始化为零 ``` 上述代码定义了一个通用的初始化函数 `initialize_weights_kaiming`，可以应用于任何包含卷积层或全连接层的模型。调用该函数的方式如下所示： ```python model = YourModel() # 替换为您自己的模型类实例 model.apply(initialize_weights_kaiming) ``` 此操作会对整个模型的所有适用层执行Kaiming初始化。 --- #### 默认情况下PyTorch的初始化行为 需要注意的是，默认情况下PyTorch已经为某些常见层实现了合理的初始化策略。例如，Conv2d 和 Linear 层均采用了一种形式的统一初始化。然而，为了进一步提升性能或者适配特定任务需求，手动指定更合适的初始化方案（如Kaiming初始化）通常是推荐的做法。 --- ### 总结 通过对模型参数进行科学有效的初始化能够显著改善训练过程中的收敛速度及最终效果。特别是在涉及深层架构设计时，合理选用诸如MSRA(Kaiming)这样的先进技术显得尤为重要[^1]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值