深度学习——MSRA初始化

最新推荐文章于 2025-03-11 22:53:05 发布
最新推荐文章于 2025-03-11 22:53:05 发布
阅读量3w 收藏 54
点赞数 18
分类专栏： 深度学习基础 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/51347572
版权
本文详细介绍了MSRA初始化方法，源自何凯明的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》。讨论了初始化在网络深度增加时的重要性，指出传统的高斯初始化和VGG团队的策略的局限性。接着，解释了MSRA初始化的公式和推导过程，特别强调了在ReLU激活函数下的适用性。文中还提到了初始化对ReLU和PReLU的影响，并对比了MSRA与Xavier初始化的效果，特别是在深层网络中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本次简单介绍一下MSRA初始化方法，方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.

Motivation

网络初始化是一件很重要的事情。但是，传统的固定方差的高斯分布初始化，在网络变深的时候使得模型很难收敛。此外，VGG团队是这样处理初始化的问题的：他们首先训练了一个8层的网络，然后用这个网络再去初始化更深的网络。

“Xavier”是一种相对不错的初始化方法，我在我的另一篇博文“深度学习——Xavier初始化方法”中有介绍。但是，Xavier推导的时候假设激活函数是线性的，显然我们目前常用的ReLU和PReLU并不满足这一条件。

MSRA初始化

只考虑输入个数时，MSRA初始化是一个均值为0方差为2/n的高斯分布：

MSRA初始化方法

推导证明

推导过程与Xavier类似。

首先，用下式表示第L层卷积：

最低0.47元/天 解锁文章
权值初始化——高斯初始化，Xavier初始化，MSRA初始化，He初始化
CVer
09-11 7197
在训练神经网络之前，必须对其全值和偏置进行初始化。常用的初始化方法有四种，分别是高斯初始化、Xavier初始化和MSRA初始化。它们一般都把偏置初始化为0，但对权值进行随机初始化。其中，高斯初始化比较容易理解，就是根据某个高斯分布来初始化权值，但均值通常选0，方差需要按经验人工选择。下面对Xavier和MSRA以及He做进一步的说明。 Xavier的基本思想是保持信息在神经网络中流动过程的方差不...
2020-7-18 吴恩达-改善深层NN-w1 深度学习的实用层面(课后编程1-Initialization-3种不同方法对比-He/MSRA初始化)
weixin_42555985的博客
07-19 411
原文链接 如果打不开，也可以复制链接到https://nbviewer.jupyter.org中打开。 初始化 Initialization1.NN模型 欢迎来到改善深层NN的第一个编程作业。 训练NN需要指定权重初始值。一个好的初始化方法将有利于模型的学习。 如果你已经完成了前面的编程作业，那么你应该根据指导进行了权重初始化，到目前为止它已经成功运行。 但是对于一个新的NN你如何初始化呢？通过本作业，你将会了解不同的初始化将会有怎样不同的结果。 一个好的初始化能够 加速梯度下降的收敛 增加梯度下降收敛到
MSRA初始化
qq_34555202的博客
01-03 569
方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. Motivation MSRA初始化 推导证明 补充说明 Motivation 网络初始化是一件很重要的事情。但是，传统的固定方差的高斯分布初始化，在网络变深的时候使得模型很难收...
Xavier 初始化：深度网络权重初始化的经典之作
最新发布
阿正的梦工坊
03-11 1106
在深度学习的发展历程中，权重初始化对神经网络训练的成功至关重要。随机初始化的简单方法在浅层网络中尚可，但在深层网络中往往导致梯度消失或爆炸的问题。为了解决这一挑战，Xavier Glorot 和 Yoshua Bengio 在 2010 年提出了 Xavier 初始化（也称为 Glorot 初始化），一种基于输入和输出维度的优雅初始化策略。
MSRA初始化和Xavier初始化权值
Lin的博客
02-27 500
神经网络权值初始化方法 引言 神经网络权值的初始化对于网络训练速度以及收敛性有很大影响，因此我们需要合适的方法。传统的初始化的方法是使用固定标准差的高斯分布，在caffe中使用的是经典的Xavier初始化方法，当然直接进行预训练也是初始化的一种好的方法，一个好的初始化可以有助于收敛到一个优秀的局部最优解，且收敛速度快。但这些方法在ReLU系列以及网络层数较深时，这样的初始化无法得到很好的结果。何凯明大佬提出了MSRA初始化。MSRA初始化可以说是专门为ReLU系列激活函数特意设计的。具体可参考文章《De
caffe-msra初始化
Iriving_shu的博客
09-17 1673
简介：本文学习来自微软的msra初始化，来自论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》 目前在深度神经网络的训练过程中，初始化过程影响着网络最终的训练结果。网络越深收敛更加困难，为了处理这个问题，VGG团队先训练一个8层的网络，再用训练好的模型去初始
神经网络参数初始化（MSRA、Xavier）
qq_37705280的博客
04-26 1086
再推荐一篇感觉原理讲的很好的文章：https://blog.csdn.net/u014696921/article/details/53819512
权值初始化 - Xavier和MSRA方法
weixin_30323631的博客
06-13 1476
设计好神经网络结构以及loss function 后，训练神经网络的步骤如下： 初始化权值参数 选择一个合适的梯度下降算法（例如：Adam，RMSprop等） 重复下面的迭代过程： 输入的正向传播 计算loss function 的值 反向传播，计算loss function 相对于权值参数的梯度值 根据选择的梯度下降算法，使用梯度值更新每个权值参数 初始化 神经网络的训练过程是一个迭代的...
deeplearning.ai第二门课——权重初始化
10-11
在深度学习领域，权重初始化是构建神经网络模型时的一个关键步骤。权重初始化得当与否直接影响着模型的训练效率和最终的性能。deeplearning.ai的第二门课程《提升深层神经网络》深入探讨了这一主题，其中包含了编程...
神经网络深度学习（五）初始化
china1000的专栏
09-03 1073
神经网络初始化方法回顾
深度学习简明教程系列 —— 基础知识（合集）
编程之路
08-25 7716
参考：https://www.zhihu.com/question/53405779 https://zhuanlan.zhihu.com/p/61880018 第一章 模型评估 1.1 基础概念 假设有m个样本，其中有a个样本分类错误，则有：
深度学习路线总结 (含链接)
2301_79695159的博客
07-25 1184
深度学习资料链接总结
深度学习-网络参数初始化Xavier与MSRA
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
07-30 2553
权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）。可参考博客。 重点介绍xavier与msra。 xavier初始化        对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。推导...
深度学习中初始化方法：xavier和MSRA
choose_c的博客
09-08 497
Xavier初始化方法 源自论文：Understanding the difficulty of training deep feedforward neural networks Xavier;Bengio 思想：正向传播时，每层激活值的均值为0，方差相同，反向传播时，每层状态值的梯度的均值为0，方差相同。 方法：权重满足均匀分布 , 如果各层大小相同则方...
CNN数值初始化——xavier（上）
zhongshaoyy的博客
10-28 1万+
作者：冯超 链接：https://zhuanlan.zhihu.com/p/22028079 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美
卷积神经网络（三）：权值初始化方法之Xavier与MSRA
Fire_Light_的博客
03-14 9609
基础知识 首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在： 一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。 这里先介绍一个方差相乘的公式，以便理解Xavier： Xavier 现在我们先来分析一层卷积： 其中ni表示输入个数。 根据概率统计知识我们有下面的方差公式：...
人工智能NLP之MSRA-万字综述 直击多模态文档理解
人工智能讲师分享前沿技术
08-25 624
对于视觉信息丰富的文档的结构不仅仅由文本内容的结构决定,与布局、排版、格式、表/图结构等视觉元素同样相关.例如收据、证书、保险文件等.Liu等人提出的利用图卷积神经网络建模视觉元素丰富的文档,首先通过OCR系统获得一组Text Blocks,每一个Text Block包含其在图像中与文本内容的坐标信息,将其构成一个完全连通的有向图,即每个Text Blocks构成一个节点,通过Bi-LSTM获取节点的初始特征,边的初始特征是相邻文本块与当前文本块之间的相对距离以及这两个文本块的长宽比。
Deep Learning 之 参数初始化
BVL的博客
04-26 9835
本文仅对常见的参数初始化方法进行总结（大部分内容来自deep learning一书），原理性的问题不进行过多的探讨。**Deep Learning中参数初始化十分重要，一般来说有以下这些原因：** 1.初始点的选取，有时候能够决定算法是否收敛 2.当收敛时，初始点可以决定学习收敛的多快，是否收敛到一个代价高或低的点 3.初始化也可以影响泛化 4.初始参数需要破坏不同神经元间的“对称性”，因为
深度学习之参数初始化策略
热门推荐
浅梦的学习笔记
10-13 1万+
本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略，标准初始化，Xavier初始化，He初始化。
msra初始化和xavier初始化
12-26
### MSRA 初始化与 Xavier 初始化的差异 两种初始化方法的主要区别在于如何计算权重的标准差，这取决于所使用的激活函数以及网络结构。 #### 计算方式的不同 Xavier初始化假设每一层输入和输出变量具有相同的分布特性，并基于此设定初始权重范围。具体来说，如果一层神经网络有n_in个输入单元和n_out个输出单元，则该层权重矩阵W应从均匀分布U(-sqrt(6/(n_in+n_out)), sqrt(6/(n_in+n_out))) 或者正态分布N(0,sqrt(2/(n_in+n_out)))[^1] 中抽取样本作为初始值。 相比之下，MSRA（也称为Kaiming）初始化特别针对ReLU及其变体进行了优化调整。它考虑到ReLU类型的非线性变换会使信号通过网络传播时逐渐缩小一半左右的比例关系；因此，在这种情况下更倾向于采用较大的方差来补偿这一现象带来的影响。对于使用ReLU类激活函数的情况，推荐按照 N(0,\(\sqrt{2/n_{in}}\))[^2] 的形式设置权重。 #### 适用场景分析 当涉及到深层架构尤其是那些依赖于ReLU家族成员作为主要激活机制的设计方案时，MSRA往往表现得更为出色。这是因为随着层数增加，传统方法可能导致梯度消失或爆炸问题加剧，而经过改进后的MSRA能够有效缓解这些问题的发生几率并促进更快更好的模型收敛性能[^3]。 另一方面，Xavier初始化适用于多种不同种类的传统激活函数（如Sigmoid、Tanh），并且在某些特定条件下也能很好地支持浅层至中等规模深度的学习任务。然而面对非常深或者专门采用了其他特殊组件构建而成的新颖框架时，可能就需要考虑更加定制化的解决方案了[^4]。 ```python import torch.nn as nn # 使用Xavier初始化 nn.init.xavier_uniform_(tensor) # 使用MSRA/He初始化 nn.init.kaiming_normal_(tensor) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值