网络权重初始化方法总结：Lecun、Xavier与He Kaiming

已于 2023-06-07 16:42:31 修改
阅读量175 收藏
点赞数
文章标签： 人工智能 深度学习
于 2023-05-21 23:01:26 首次发布
原文链接：https://www.cnblogs.com/shine-lee/p/11908610.html
版权

快速总结一下，初始化的目的其实是为了二阶矩（也就是模长）不发生大变化：

  • Lecun: 从N(0,1/fan_in)从采样
  • Xavier: 从N(0,2/(fan_in+fan_out))中采样，pytorch的TransformerEncoder用的是这个
  • He kaiming: 针对Relu,N(0,2/fan_in)或者N(0,2/fan_out)中都行
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
taoqick
关注
DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、模型性能对比、使用方法详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-09 8579
​ DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、模型性能对比、使用方法详细攻略 目录 相关文章 DNN中参数初始值 DNN中多种参数初始化的模型性能对比 相关文章 DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、使用方法详细攻略 https://yunyaniu.blog.csdn.net/article/details/891600
Python深度学习实践：优化神经网络的权重初始化策略
AI天才研究院
04-23 552
Python深度学习实践：优化神经网络的权重初始化策略 1.背景介绍 1.1 神经网络权重初始化的重要性 在深度学习领域,神经网络已经成为解决各种复杂任务的有力工具。然而,训练一个高性能的神经网络模型并非易事
网络权重初始化方法总结（下）：Lecun、Xavier与He Kaiming
日拱一卒
11-22 2385
文章目录权重初始化最佳实践期望与方差的相关性质全连接层方差分析tanh下的初始化方法Lecun 1998Xavier 2010ReLU/PReLU下的初始化方法He 2015 for ReLUHe 2015 for PReLUcaffe中的实现小结参考 博客：blog.shinelee.me | 博客园 | CSDN 权重初始化最佳实践 书接上回，全0、常数、过大、过小的权重初始化都是不好的，...
程序员学长 | 最强总结！ 深度学习中常见的权重初始化方法
最新发布
csdn_xmj的博客
08-17 924
今天给大家分享常见的 7 种权重初始化方法。 初始化深度学习模型的权重是影响模型训练速度、稳定性以及最终性能的重要因素。 以下是常见的 7 种权重初始化方法，每种方法都有其适用的场景和特性。
常见的参数初始化方法
bestxyj的专栏
08-08 1万+
常见的参数初始化方法 我们常见的几种初始化方法是按照“正态分布随机初始化——对应为normal”和按照“均匀分布随机初始化——对应为uniform”，这里就不再多说了，这里介绍几种遇见较少的初始化方法。 1、Glorot初始化方法 （1）正态化的Glorot初始化——glorot_normal Glorot 正态分布初始化器，也称为 Xavier 正态分布初始化器。它从以 ...
深度学习 - 3.TF x Keras 常见参数初始化方法
BITDDD小栈
09-28 9584
上篇文章自定义 metrics 用到了 add_weights 方法，这个方法会初始化一个变量，维度不定。下面就常见的初始化方法，进行介绍。
深度学习参数初始化（weights initializer）策略大全
MIss-Y的博客
03-21 2万+
前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...
神经网络的初始化方法总结 | 又名“如何选择合适的初始化方法”
CV技术指南（微信公众号）
10-04 1596
前言 本文介绍了为什么初始化很重要，总结了常用的几种初始化方法：全零或等值初始化、正态初始化、均匀初始化、Xavier初始化、He初始化和Pre-trained初始化，并介绍了几个还活跃的初始化方向：数据相关初始化、稀疏权重矩阵和随机正交矩阵初始化。 本文来自公众号CV技术指南的技术总结系列 欢迎关注CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。 为什么初始化很重要 不正确初始化的权重会导致梯度消失或爆炸问题，从而对训练过程产生负面影响。 对于梯度消失问题，权重更新
权重初始化1
08-03
权重初始化是神经网络训练中的关键步骤，它对模型的收敛速度和最终性能有着显著影响。本文主要探讨了几种不同的权重初始化方法，并解释了它们的原理和适用场景。 1. **全部初始化为零**：这种方法简单直观，但存在...
TensorFlow学习 深度学习参数初始化(weights initializer)策略
qq_36588760的博客
03-29 2746
前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络相关背景，...
Keras官方中文文档：初始化方法Initializers
macair123的博客
03-10 1万+
初始化方法初始化方法定义了对Keras层设置初始化权重的方法不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer，例如：model.add(Dense(64, kernel_initializer='random_uniform', b...
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-07-初始化权值
　啸林　
10-18 1万+
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-07-初始化权值 -- 模型训练的时候会首先对权值矩阵和偏置进行初始化。有的是把权值初始化为0，但是这种情况不能适用于带有梯度下降算法的网络。因为每次的残差都一样，那么网络参数就达不到最优了。所以一般常用的就是随机数初始化，保证每个参数都不重复，但是差值也不会很大。随机数初始化一般按照概率分布去取值，比如常用的均匀分布等。
【深度学习】参数初始化与Batch Normalization
无极阁
04-23 3728
一、参数初始化原则 参数初始化作为模型训练的起点，决定了模型训练的初始位置。选择的好坏很大程度影响收敛的速度与最终的训练结果。一般来说，参数初始化遵循以下几点要求： 不建议同时初始化为一个值，容易出现“对称失效” 最好保证均值为0，正负交错，参数大致数量相等 初始化参数不要太大或太小，前者会导致梯度发散难以训练，后者会导致特征对后面的影响逐渐变小 二、常见的初始化方法 1、全零初始化与随机初始...
深度学习（四）权值初始化
QuinnHanz的博客
05-30 1615
对于权重w的初始化，一般常用高斯初始化，有时也可以用随机初始化，一定不能全用某一常值初始化。b的初始化可用全常值初始化即可（很多论文都是）。...
Deep learning中权值的初始化
weixin_38208741的博客
07-19 610
常使用的集中初始化权值函数： uniform：均匀分布 lecun_uniform:是在LeCun在98年发表的论文中基于uniform的一种方法。区别就是lecun_uniform的scale=sqrt(3/f_in)。f_in就是待初始化权值矩阵的行。 Normal：正态分布（高斯分布）。 Identity ：用于2维方阵，返回一个单位阵 Orthogonal：用于2维方阵，返回一个正交矩阵...
深度学习之参数初始化
iFlyAI的博客
12-22 2725
在开始学习之前推荐大家可以多在FlyAI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。 目录 1.0 初始化概念 2.0 初始化原则 2.1 一些基础的储备知识 2.2 参数初始化的几个基本条件 2.3 全0初始化的可行性 2.4 Glorlt 条件 2.5 关于方差的三个事实 2.6参数初始化的几点要求 3.0常...
CNN数值初始化——xavier（上）
zhongshaoyy的博客
10-28 1万+
作者：冯超 链接：https://zhuanlan.zhihu.com/p/22028079 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美
Keras Dense层整理
热门推荐
u011311291的博客
04-04 4万+
''' Created on 2018-4-4'''keras.layers.core.Dense( units, #代表该层的输出维度 activation=None, #激活函数.但是默认 liner use_bias=True, #是否使用b kernel_initializer='glorot_uniform', #初始化w权重，keras/initializers.py bias_init
"卷积神经网络：Yann LeCun的创新概念与实践
卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，由Yann LeCun等人于1993年首次提出并应用于手写数字识别。LeCun被誉为CNN之父，与Geoffrey Hinton、Yoshua Bengio并称为“深度学习三巨头”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值