深度学习之参数初始化方法以及常用的参数优化器

最新推荐文章于 2024-03-06 18:03:40 发布
最新推荐文章于 2024-03-06 18:03:40 发布
阅读量299 收藏
点赞数
分类专栏： 深度学习 文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L888666Q/article/details/120552073
版权

参数初始化方法

全0初始化---不采用

每个权重被初始化成了相同的值，那么权重失去了不对称性

随机初始化

高斯随机化、均匀随机化

稀疏初始化

使用较少，全部初始化为0再随机挑选一些参数附上随机值

Xavier

适用于激活函数是sigmod或 tanh等S型曲线函数

Kaiming

激活函数是ReLU的专用初始值

参数优化器

SGD

随机梯度下降法，梯度的方向并没有指向最小值的方向时，寻找路线是‘之’字型效率低

Momentum

动量，参照小球在碗中滚动的物理规则进行移动 

AdaGrad

学习率衰减方法，为参数的每个元素适当地调整学习率 

Adam

结合Momentum和AdaGrad，实际使用中Adam可作为默认优化器，往往能达到比较好的效果

 

 

 

L888666Q
关注
专栏目录
【深度学习】网络参数初始化方法
热情、奔放、快乐编程！
02-05 539
本文的思想在考虑线性激活函数的情况下, 在初始化的时候使各层神经元的方差保持不变, 即使各层有着相同的分布. 如果每层都用N(0, 0.01)随机初始化的话, 各层的数据分布不一致, 随着层度的增加, 神经元将集中在很大的值或很小的值, 不利于传递信息. 很多初始化策略都是为了保持每层的分布不变, 而BN是通过增加归一化层使得每层数据分布保持在N(0, 1)。xavier的初始化方式和BN一样，为了保证数据的分布（均值方差一致）是一样的，加快收敛，就这么简单吧。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习之参数初始化
iFlyAI的博客
12-22 2753
在开始学习之前推荐大家可以多在FlyAI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。 目录 1.0 初始化概念 2.0 初始化原则 2.1 一些基础的储备知识 2.2 参数初始化的几个基本条件 2.3 全0初始化的可行性 2.4 Glorlt 条件 2.5 关于方差的三个事实 2.6参数初始化的几点要求 3.0常...
深度学习——参数初始化
weixin_44533869的博客
09-20 163
深度学习总结(一)——参数初始化 https://blog.csdn.net/manong_wxd/article/details/78734725 深度学习: 参数初始化 https://blog.csdn.net/JNingWei/article/details/78835390
常见的深度学习参数初始化方法总结
J~的博客
01-31 2965
目录 1随机初始化 2Xavier初始化 3He初始化 4高斯随机初始化 withBatchNorm 5Pre-train Reference 1随机初始化 2Xavier初始化 每层的权重初始化公式如下： 上式为一个均匀分布，n_j为输入层的参数，n_(j+1)为输出层的参数 Xavier的推导过程是基于几个假设的， 其中一个是激活函数是线性的，...
深度学习参数初始化（一）Xavier初始化 含代码
xian0710830114的专栏
06-30 3万+
Xavier初始化也称为Glorot初始化，因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法，他们的思想就是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。........................
基于改进粒子群算法的深度学习超参数优化方法.pdf
08-18
基于改进粒子群算法的深度学习超参数优化方法 深度学习模型中的超参数选择对分类效果有着极大的影响。因此，为了提高超参数优化的效率，提出了一种改进粒子群优化算法对超参数进行优化。该算法对惯性因子采用非线性...
【探索AI】十三 深度学习之第2周：深度神经网络（二）参数初始化策略
weixin_48134870的博客
02-29 1163
深度学习 AI
深度学习之参数初始化（一）——Xavier初始化
qq_37764129的博客
05-31 4633
我们需要牢记参数初始化的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关——激活值饱和会导致该层状态梯度信息为0，然后导致下面所有层的参数梯度为0；入激活值为0会导致对应参数梯度为0。所以如果要保证参数梯度不等于0，那么参数初始化应该使得各层激活值不会出现饱和现象且激活值不为0。我...
深度学习模型的初始化
weixin_54279123的博客
07-24 1628
好的初始化应该满足以下两个条件1、让各神经元层激活值不会出现饱和现象；2、各层激活值也不能为0。
深度学习系列三——优化篇之参数初始化，数据预处理，逐层归一化(BN+LN+WN+GN)，超参数优化
weixin_45666566的博客
07-26 3760
前言1、参数初始化1.1 预训练初始化：1.2 固定值初始化：1.3 随机初始化：1.3.1 基于固定方差的参数初始化1.3.2 基于方差缩放的参数初始化1.3.2.1 Xavier初始化1.3.2.2 He初始化1.3.3 正交初始化2、数据预处理2.1 归一化处理2.2 白化处理 1、参数初始化 \quad \quad神经网络的参数学习是一个非凸优化问题．当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键，关系到网络的优化效率和泛化能力． \quad \quad不同的参数初始值会收敛到不同
深度学习模型九大经典初始化方案
最新发布
极光喵的博客
03-06 1820
自适应初始化方法通过根据具体模型和数据动态调整初始化参数，可以显著提高模型训练的起始性能，尤其是在复杂的模型或不常见的架构中。这种方法的核心思想是在模型的训练初期，通过优化一个小的数据集上的训练损失来确定初始化参数。这个近似正交的矩阵被用作网络层的权重。在实现稀疏初始化时，通常会指定一个稀疏度参数（如每个神经元连接到的前一层神经元的数量），然后随机选择这些连接并赋予它们非零的权重。Delta-正交初始化有助于在训练过程中保持卷积层输出的特征图的多样性，从而防止梯度消失或爆炸，特别是在深层卷积网络中。
优化篇-【参数初始化】
disguiseR
04-13 443
【参数初始化】 文章目录【参数初始化】1. 参数初始化的重要性1.1.初始化与深度学习的起源1.2.什么是好的初始化2. 常用参数初始化方法2.1 全零与随机初始化2.2.标准初始化2.3.Xavier2.3xavier与标准化初始化对比2.4.MSRA初始化3.如何更好地进行参数初始化3.1.思考 1. 参数初始化的重要性 1.1.初始化与深度学习的起源 1.2.什么是好的初始化 各层激活值...
深度学习参数初始化（weights initializer）策略大全
MIss-Y的博客
03-21 2万+
前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...
深度学习笔记（九）随机初始化及参数VS超参数
我的技术栈碎碎念空间
12-18 778
一、为什么不能初始化权重为0？ 来看一个简单的网络结构 试想如果权重初始化为0，即 W[1]=[0000].W^{[1]}=\left[ \begin{matrix} 0&0\\0&0\end{matrix} \right].W[1]=[00​00​]. a1[1]=a2[2],dz1[1]=dz2[2]a_1^{[1]}=a_2^{[2]},dz_1^{[1]}=dz_2^{[2]}a1[1]​=a2[2]​,dz1[1]​=dz2[2]​ 因此特征值通过每一个神经元时输出值先相同，不管
深度学习之参数初始化策略
浅梦的学习笔记
10-13 1万+
本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略，标准初始化，Xavier初始化，He初始化。
【深度学习】神经网络参数的初始化方法
小马日记
11-02 4434
一、全0初始化 全0初始化最为简单，但不适合采用。因为如果将神经网络中参数全部初始化为0，那么每个神经元就会计算出相同的结果，在反向传播的时候也会计算出相同的梯度 ，最后导致所有权重都会有相同的更新。换句话说，如果每个权重都被初始化成相同的值，那么权重之间失去了不对称性。 二、随机初始化 我们希望权重初始化的时候能够尽量靠近0，但是不能全都等于0 ，所以可以初始化权重为一些靠近0的随机数，通过这个...
CNN数值初始化——xavier（上）
zhongshaoyy的博客
10-28 1万+
作者：冯超 链接：https://zhuanlan.zhihu.com/p/22028079 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美
Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记
RRZS的博客
12-03 1169
这篇文章的贡献点在于提出了一种新的正则化方法，并证明了其相比于其他的正则化方法具有更好的效果（测试集误差更低以及训练误差和测试误差之间的gap更小），之后的gan网络很多都沿用了这个正则化的方法，也验证了该方法的有效性。 一、Spectral Norm Regularization 1.1谱范数的提出  首先，作者提出了衡量扰动的计算公式： 该公式衡量当x发生一定程度变化时，y变化的大...
深度学习中的参数初始化策略
"《神经网络与深度学习》是邱锡鹏撰写的一本关于深度学习的著作，涵盖了神经网络的基础知识、优化方法以及参数初始化等重要主题。书中提到了在神经网络训练过程中，参数初始化的重要性，特别是在避免对称权重现象...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值