计算机视觉与深度学习-全连接神经网络-训练过程-权值初始化- [北邮鲁鹏]

已于 2023-09-18 20:24:36 修改
阅读量187 收藏
点赞数
分类专栏： 深度学习 # 计算机视觉 文章标签： 深度学习 神经网络 人工智能
于 2023-09-14 10:01:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49683806/article/details/132862247
版权

文章目录

思想

通过调整权值的分布使得输出与输入具有相同的分布

在这里插入图片描述

避免全零初始化

全零初始化：网络中不同的神经元有相同的输出，进行同样的参数更新；
因此，这些神经元学到的参数都一样，等价于一个神经元。

在这里插入图片描述
建议：采用随机初始化，避免全零初始化！

随机权值初始化

权值初始化太小：

前向信息流消失

在这里插入图片描述

权值初始化太大

反向梯度消失

在这里插入图片描述

实验结论：初始化时让权值不相等，并不能保证网络能够正常的被训练。

有效的初始化方法：是网络各层的激活值和局部梯度的方差在传播过程中尽量保持一致；以保证网络中正向和反向数据流动。

Xavier初始化

Xavier初始化是一种用于初始化神经网络权重的方法，旨在使网络的前向传播时保持信号的方差不变。该方法根据每一层的输入和输出神经元的数量来确定权重的初始范围。

目标

使网络各层的激活值和局部梯度的方差在传播过程中保持一致，即寻找w的分布使得输出y与输入z的方差一致

在这里插入图片描述

为什么输入和输出分布会变得不同？

因为输入在经过隐藏层时发生衰变。

Xavier在使用Tanh时的表现好

在这里插入图片描述

Xavier在使用ReLU时的表现不好

在这里插入图片描述
在多次迭代后结果集中在0附近

HE初始化（MSRA）

在这里插入图片描述
适用于ReLU函数

权值初始化总结

  • 好的初始化方法可以防止前向传播过程中的信息消失，也可以解决反向传递过程中的梯度消失。
  • 激活函数选择双曲正切(ReLU)或者Sigmoid时，建议使用Xaizer初始化方法;
  • 激活函数选择ReLY或Leakly ReLU时，推荐使用He初始化方法。
我要 成果
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习神经网络中权重的初始化
夜雨飘零
04-15 1万+
目录 目录 前言 模型函数 零初始化 随机初始化 He初始化 总结 参考资料 前言 良好的初始化权重有以下的好处： 加快梯度下降的收敛速度 增加梯度下降收敛到较低训练（和泛化）错误的几率 所以一个良好的初始化也是非常重要的，这里尝试三种初始化化方式： 零初始化，将权重参数初始化为零。 随机初始化，使用随机的方式，初始化权重参数。 He初始化，这个公式的初始化方式。...
深度学习之权重初始化
qq_52302919的博客
07-10 1045
的初始化则显得至关重要，一个好的权重初始化虽然不能完全解决梯度消失和梯度爆炸的问题，但是对于处理这两个问题是有很大的帮助的，并且十分有利于模型性能和收敛速度。而言，损失函数的导数都是相同的，因此在随后的迭代过程中所有权重都具有相同的值，这会使得隐藏单元变得对称，并继续运行设置的。初始化方式一样，都希望初始化使得正向传播时，状态值的方差保持不变，反向传播时，关于激活值的梯度的方差保持不变。后每层的激活函数输出值的分布，从图中我们可以看出，深层的激活函数输出值还是非常服从标准高斯分布。下面代码为权重初始化为。
深度学习--权值初始化
m0_48839222的博客
07-27 769
深度学习，权值初始化，批归一化
深度学习中神经网络的几种权重初始化方法
Harrytsz的博客
10-19 3160
深度学习中神经网络的几种权重初始化方法 ​ 在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。说白了，神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失或者梯度爆炸。因此，对权重w的初始化则显得至关重要，一个好的权重初始化虽然不能完全解决梯度消失和梯度爆炸的问题，但是对于处理这两个问题是有很大的帮助的，并且十分有利于模型性能和收敛速
给深层网络做参数初始化的门道及其原理
Focus on AI
04-13 1689
神经网络的参数学习是一个非凸优化问题，当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键。如果参数的初始值不恰当，轻则影响网络的优化效率和泛化能力，重则导致梯度爆炸或消失。 参数初始化的方式通常有三种：预训练初始化、随机初始化、固定值初始化。预训练初始化是指用已经训练好的模型的参数来初始化待训练网络的参数。固定值初始化是指用一个固定值来初始化参数。随机初始化是指用一个随机值来初始化参数。这个随机值可以没有规律，也可以让其服从某个分布。 实践中，随机初始化是较常用的权值初始化方法。现有的深度学习理
基于遗传算法与BP神经网络的支架跟机自动化研究-论文
07-08
针对综采工作面液压支架跟机自动化过程中移架动作存在的丢架、推移不到位等问题，提出了基于遗传算法（GA）与BP神经网络组合模型的控制方法。通过建立BP神经网络控制器为主体的反馈控制，将支架的运动参数作为模型的...
神经网络与深度学习-----基于Tensorflow的手势识别.zip
05-09
深度学习的训练过程通常涉及反向传播算法，该算法用于优化网络参数，使神经网络能够更好地适应数据。训练数据被输入到神经网络中，通过前向传播算法将数据从输入层传递到输出层，然后计算网络输出结果与实际标签之间...
人工智能-深度学习-基于极速学习机的深度学习在图像分类上的研究.pdf
06-26
最后，论文结合全连接神经网络和卷积神经网络（Convolutional Neural Network, CNN）的特点，发展了基于分布式表达的卷积极速学习机。CNN因其对局部感受野的学习能力，能保留更多局部信息，生成更具代表性的特征表示...
PSO-to-Optimize-BP-NN-procedure.rar_PSO优化bp权值_pso nn_pso 神经网络_ps
07-13
在Matlab中PSO算法可用于BP神经网络的网络权值优化,PSO算法比传统的BP神经网络采用误差反向传播来调整网络连接权值可以有更大的空间内搜索的优势。
神经网络深度学习-2020最新资料+数学.rar
06-24
《神经网络深度学习》2020年的最新资料包含了丰富的理论和实践知识，涵盖了前馈神经网络、卷积神经网络、循环神经网络等核心概念，以及网络优化与正则化、记忆与注意力机制等进阶主题。此外，还涉及了无监督学习、...
深度学习相关概念：权重初始化
与君共勉，一起学习
03-19 7394
深度学习相关概念：权重初始化1.全零初始化（×）2.随机初始化2.1 高斯分布/均匀分布2.1.1权重较小—N(0,0.01)\pmb{\mathcal{N}(0,0.01)}N(0,0.01)​N(0,0.01)​​N(0,0.01)2.1.1权重较大—N(0,1\pmb{\mathcal{N}(0,1}N(0,1​N(0,1​​N(0,12.1.3存在问题：2.2 Xavier初始化2.2.1 原理2.2.2 N(0,1/N)\pmb{\mathcal{N}(0,1 / N)}N(0,1/N)​N(0,
关于神经网络权值初始化的讲究
qq_32944255的博客
07-30 4954
用神经网络来学习时，权值的初始化会会影响网络的学习速度，不好的初始化权值会使神经网络学习速度在学习过程中较快的下面可以举个例进入饱和期，速度很慢，下面可以举个例子说明这点 这是一个三层网络，一层输出层，一层隐层，一层输入层，输出层两个节点，隐层三个节点，输入层n个节点，假设我们采用梯度下降法调整权值，假设神经节点所用激活函数为梯度函数 1/(1+exp(-z)),设输
深度神经网络调参之权值初始化
nwnlp的博客
02-28 1461
在玩dota类游戏的时候，局势情况不好的情况下，新手的第一反应就是队友傻逼，然后想着就投降。老玩家呢往往先看看是不是自身问题。不仅游戏，很对地方都是如此，新人在使用神经网络的时候，在发现最终的结果不好的情况下，想着就是模型算法本身的问题，然后换成其他的模型算法，这样往往结果并没有改善。老手们往往会检查许多方面，看看数据本身是否有异常，网络结构编写是否有问题，是否出现了过拟合现象等等。 本文主要谈...
【深度学习】PyTorch框架(6)：GNN图神经网络理论和实践
MUKAMO的博客
07-19 1029
本文深入探讨了神经网络在图结构数据处理中的应用，介绍了图的邻接矩阵和边列表表示方法，以及图卷积网络（GCN）和图注意力网络（GAT）的实现。实践表明，图信息对提升预测模型性能至关重要，GNNs在社交网络、生物信息学、交通优化和推荐系统等领域具有巨大潜力，未来在AI领域将扮演更重要角色。
7.1.3、使用飞桨实现基于LSTM的情感分析模型
我亦无他，唯手熟尔
07-20 1264
接下来让我们看看如何使用飞桨实现一个基于长短时记忆网络的情感分析模型。在飞桨中，不同深度学习模型的训练过程基本一致，流程如下： 数据处理 ：选择需要使用的数据，并做好必要的预处理工作。 网络定义 ：使用飞桨定义好网络结构，包括输入层，中间层，输出层，损失函数和优化算法。 模型训练 ：将准备好的训练集数据送入神经网络进行学习，并观察学习的过程是否正常，如损失函数值是否在降低，也可以打印一些中间步骤的结果出来等。 模型评估 ：使用测试集数据测试训练好的神经网络，看看训练效果如何
基于深度学习的放射学图像分析
weixin_42605076的博客
07-22 502
基于深度学习的放射学图像分析是利用深度学习模型来自动分析和解读医学影像（如X光片、CT、MRI等），辅助医生进行疾病诊断、治疗计划制定和预后评估。
基于深度学习的商品推荐
最新发布
weixin_42605076的博客
07-22 756
基于深度学习的商品推荐系统利用深度学习技术对用户的行为和商品的特征进行分析和建模，从而向用户推荐最相关的商品。这类系统在电子商务、社交媒体和内容推荐等领域中具有广泛应用。
从零开始：构建基于深度学习的实时跌倒检测系统（UI界面+YOLO代码+数据集）
a871923942的博客
07-22 464
系统主要由前端UI、后端服务器和YOLO模型组成。用户通过UI上传视频，服务器调用YOLO模型进行检测，并将结果返回给用户。| 前端UI | <----> | 后端API | <----> | YOLO检测模型 |YOLO（You Only Look Once）是一种高效的实时目标检测模型。YOLOv5、YOLOv6、YOLOv7、YOLOv8均为其不同版本，提供不同的性能和速度。
探索极速学习机在深度图像分类中的革新：权值初始化与卷积融合
极速学习机作为神经网络的一种变体，自2004年提出以来，尽管取得了一定进展，但仍面临着权值初始化、特征表达优化以及向深度学习模型扩展等问题。 首先，文章深入探讨了权值初始化对极速学习机的重要性。权值初始化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值