DL之DNN优化技术：采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化

最新推荐文章于 2024-06-21 18:22:19 发布
最新推荐文章于 2024-06-21 18:22:19 发布
阅读量3.6k 收藏 13
点赞数 7
分类专栏： DL/R 精选(人工智能)-中级
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/89177935
版权
精选(人工智能)-中级 同时被 2 个专栏收录
320 篇文章 1315 订阅 ¥99.90 ¥299.90
订阅专栏
DL/R
397 篇文章 66 订阅
订阅专栏
本文探讨了在5层神经网络中，使用sigmoid、relu和tanh三种激活函数，结合He初始化和Xavier初始化对隐藏层激活值分布的直方图可视化。实验结果显示不同初始化方式对激活值分布的影响，强调了参数初始化在深度学习优化中的重要性。
摘要由CSDN通过智能技术生成

DL之DNN优化技术：采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化

 

 

目录

采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He初始化和Xavier初始化)影响隐藏层的激活值分布的直方图可视化

输出结果

1、sigmoid

2、relu

3、tanh

实现代码

 

相关文章
Paper：Xavier参数初始化之《Understanding the difficulty of training deep feedforward neural networks》的翻译与解读
Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet C》的翻译与解读
DL之DNN优化技术：DNN中参数初始值优化【He初始化和Xavier初始化】的简介、使用方法详细攻略

了解本专栏 订阅专栏 解锁全文
一个处女座的程序猿
关注
专栏目录
订阅专栏
DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、模型性能对比、使用方法详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-09 8578
​ DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、模型性能对比、使用方法详细攻略 目录 相关文章 DNN中参数初始值 DNN中多种参数初始化的模型性能对比 相关文章 DL之DNN优化技术：DNN中多种参数初始化的简介(Lecun参数初始化/He参数初始化/Xavier参数初始化等)、使用方法详细攻略 https://yunyaniu.blog.csdn.net/article/details/891600
利用Python-caffe进行图像分类，卷积核的显示，激活值特征图的显示以及全连接层直方图显示
wei_guo_xd的博客
07-19 1883
1：设置python,numpy,matplotlib #设置Python环境：numpy用于数值计算，matplotlib用于画图 # set up Python environment: numpy for numerical routines, and matplotlib for plotting import numpy as np import matplotlib.pyplot as
绘制隐藏层的激活值的分布[直方图]
深度学习领域优质创作者，CSDN博客专家
11-23 3148
权重值的初始值不一样，对于激活层的值的分布影响很大，从而影响到神经网络是否可以正常的学习下去，对于权重值的初始值应该怎么设定为最好呢？
隐藏层
JH0lmes的博客
09-19 4066
在最近的《科学美国人》杂志上，刊载了一篇题为“深度学习崛起带来人工智能的春天”文章。文中解释了为什么复杂的神经网络是人们长时间设想的人工智能的关键。想让电脑和人一样聪明，就必须得让程序的思维方式和人的大脑一样，这似乎是有逻辑可循的。然而，鉴于我们对大脑机能的所知甚少，这一任务看起来着实令人望而生畏。那么，深度学习究竟是如何工作的呢？ 神经网络是个神器，她的表现让人有些琢磨不透。权重和偏置量能自动...
MKL-DNN学习笔记 (三) ReLU层的代码实现和分析
sandmangu的专栏
10-10 1695
ReLU层的实现相对比较简单，第一篇文章里用到的cpu_getting_started.cpp实际上就是一个ReLU的实现。所以我们只要分析一下这部分代码就可以了，正好借着这个机会看看整个mkldnn编程的思路 官方mkldnn的开发文档可以在这里看到https://intel.github.io/mkl-dnn/ 整个代码的流程如下 可以看到整个mkldnn的开发思路都是任何对象（例...
DNN的损失函数与激活函数
咔咔响
01-28 452
1.均方误差与Sigmoid函数组合的DNN带来的问题是W,b更新速度慢2.使用交叉熵损失得到的梯度不包含激活函数的导数σ’(z)3.softmax与负对数似然组合应用在多分类模型里面4...
神经网络激活函数有哪些,神经网络中的激活函数
神经网络爱好者
08-12 554
比如如下的梯度计算：如果不巧我们的样本导致每一层的梯度都小于1，则随着反向传播算法的进行，我们的δl会随着层数越来越小，甚至接近越0，导致梯度几乎消失，进而导致前面的隐藏层的W,b参数随着迭代的进行，几乎没有大的改变，更谈不上收敛了。简单理解，就是在反向传播的算法过程中，由于我们使用了是矩阵求导的链式法则，有一大串连乘，如果连乘的数字在每层都是小于1的，则梯度越往前乘越小，导致梯度消失，而如果连乘的数字在每层都是大于1的，则梯度越往前乘越大，导致梯度爆炸。同样的，当z的取值越来越小时，也有这个问题。...
四种初始化方法，深度神经网络，正则化，dropout
08-25
- **随机初始化**：在构建神经网络时，权重矩阵需要一个合适的初始值。通常使用随机初始化，如Xavier初始化或He初始化。Xavier初始化由Glorot和Bengio提出，适用于sigmoid和tanh激活函数，目的是保持输入和输出层的...
实现了深度学习中的一些算法，包括：四种初始化方法，深度神经网络，正则化，dropout.zip
08-21
这些隐藏层可以是全连接层、卷积层或循环层等，每层通过激活函数如Sigmoid、ReLU或Tanh等引入非线性。 3. 正则化： 正则化是防止过拟合的重要手段，它通过在损失函数中添加惩罚项来限制模型的复杂度。常见的正则化...
深度神经网络一
最新发布
橘猫的博客
06-21 1395
深度神经网络（Deep Neural Network, DNN）是人工神经网络的一种，拥有多个隐藏层。这些隐藏层之间的连接使得DNN能够学习和表示复杂的函数和模式。深度神经网络是人工智能领域的核心技术，具有强大的学习和表达能力。理解其基本概念、结构、训练过程和应用领域，对于深入学习和应用深度学习技术至关重要。通过不断的学习和实践，可以更好地掌握和应用DNN，解决各种复杂的问题。
详细讲解深层神经网络DNN
RayChiu757374816的博客
11-17 7204
本文详细讲述了神经网络有浅层到深层的发展历史过程，并讲解了深层网络的优点和问题，以及如何防止梯度爆炸、过拟合。
Tool：Visio2016/Visio2019专业版64位中文下载、安装(图文教程)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-10 2万+
Tool：Visio2019专业版64位中文下载、安装(图文教程)之详细攻略 目录 Visio2019专业版64位中文下载、安装 1、下载文件 2、软件安装 Visio2019专业版64位中文下载、安装 1、下载文件 2、软件安装
深层神经网络(DNN)的一些基本概念
a136522541的博客
12-14 4266
本文介绍一些DNN的概念，包括激活函数、损失函数、优化算法等 声明：本文的主要内容及代码主要来源于实战Google深度学习框架 1 激活函数 DNN的最大突破就是引入了非线性激活函数，如果没有激活函数，那么无论神经网络深度如何，它与一个1层网络本质上是没有区别的。通过增加网络的层数，并且在层与层之间添加非线性项以及偏置项f(∑ixiwi+b)f( \sum \limits_{i}x_iw_i+b)...
Relu函数与Leaky Relu函数
热门推荐
xrinosvip的博客
09-20 6万+
ReLu函数   修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，...
Xavier初始化和He初始化
Beryl的博客
07-01 805
转自https://blog.csdn.net/xxy0118/article/details/84333635 Xavier初始化: 条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。 初始化方法： W∼U[−6√ni+ni+1√,6√ni+ni+1√] W∼U[−ni​+ni+1​​6​​,ni​+ni+1​​6 ​​] 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign 论文地址：Understanding the dif
深度神经网络（DNN）损失函数和激活函数的选择
zdy0_2004的专栏
02-24 6135
http://www.cnblogs.com/pinard/p/6437495.html 　　　　在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总
神经网络中隐藏层的层数和隐藏层节点数的确定
qq_36370187的博客
11-12 4万+
1.隐藏层的层数 一般来说，层数越多，整个网络的误差也就越小，但是会是整个网络复杂化，增加网络的训练时间，也有可能出现“过拟合”（太适应于训练集，在测试集上效果不好）的情况。一般来说，一两层的隐藏层已经能够解决很多问题了，如果数据量多，可以在防止出现过拟合的情况下适当的增加层数。 2.隐藏层节点数 隐藏层节点数是导致“过拟合”的直接原因，确定隐藏层节点数与输入输出维度相关，并且每个模型都是不...
【神经网络】权值初始化以及常见的激活函数对应的初始化方法（Pytorch)
qq_39332551的博客
05-24 651
权值初始化是搭建神经网络之后的重要步骤。适当的初始化可以加速模型的收敛，而不适当的初始化则会使梯度消失或爆炸，下面主要针对常见的激活函数简要介绍两种权值初始化方法。 Xavier 方法 该方法主要针对饱和激活函数如 sigmoid 和 tanh 等。pytorch中的调用语句为： tanh_gain = nn.init.calculate_gain('tanh') nn.init.xavier_uniform_(m.weight.data, gain=tanh_gain) Kaiming 方法 该
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值