防止神经元饱和的若干方法

最新推荐文章于 2022-10-20 19:01:50 发布
最新推荐文章于 2022-10-20 19:01:50 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 神经网络 文章标签： 神经元 饱和 学习速率
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazy_scott/article/details/80343312
版权

介绍一些技巧，防止神经元饱和导致学习缓慢。

更好的代价函数和激活函数

前面已经介绍，我们使用corss entropy function+sigmoid function 或者softmax active fuction + log-likehood能够较好的避免学习缓慢的问题，具体请参考这里。

但请注意，这里我们只针对输出神经元在错误的值上饱和导致的学习下降，而对隐藏层的神经元毫无办法。

权重初始化

标准正太分布初始化

最常见的初始化神经元方法是使用标准正态分布随机初始化，这会带来一个问题。

设想，我们第一层神经元的 w、b w 、 b 已经初始化为服从 U(0,1) U ( 0 , 1 ) 的正态分布，且输入 x x 为0或者1，这里假设为0的有500个，1也有五百个。

因此，我们考虑带权和：

最低0.47元/天 解锁文章
zealscott
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数学建模神经网络应用,构建神经网络模型方法
神经网络爱好者
08-30 1722
我想这可能是你想要的神经网络吧！什么是神经网络：人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。...
神经元饱和
chenyuan1111的博客
09-14 151
在误差反向的过程中，误差传递到饱和神经元便不会更新包和神经元参数。这样W参数就会一直不改变。
AlexNet论文笔记
VinciB的博客
07-28 785
Alexnet在当时的cv环境下以算法主要以低误差为优势突出。其中利用到了ImageNet数据集，该数据集内容及其庞大，而大部分的引用仅采用了其中的120万（全部利用效果更好，但是部分引用对结果影响忽略不计）。主要讲了用来5个卷积层以及3个全连接层。为了使训练速度加快，使用了非饱和神经元和非常有效的GPU实现卷积操作。该论文采用的是有监督学习方法，在当时那种以无监督学习为主流的时代具有特殊意义。作者希望在视频序列上使用非常大的深度卷积网络。............
Neural Network Saturation 神经网络饱和性
None_Pan的博客
05-28 1998
神经网络分类器具有一组输入节点，一组隐藏处理节点和一组输出节点。如果使用tanh激活功能，则隐藏节点的值通常在-1.0到+1.0之间。如果使用softmax激活功能，则输出节点的值将介于0.0和1.0之间。 饱和神经网络是其中大多数隐藏节点的值都接近-1.0或+1.0且输出节点的值都接近0.0或1.0的网络。饱和不是一件好事。如果隐藏节点饱和，则意味着它们的激活前积和相对较大（通常大于4.0）或较小（通常小于-4.0）。 饱和节点会导致这样一种情况，即在训练过程中输入到隐藏权重的微小变化可能不会太大地改变乘
非饱和神经元（non-saturating neurons）
zeronose的博客
10-06 2384
什么是非饱和神经元（non-saturating neurons） 在读AlexNet文章时，在Abstract中发现有non-saturating neurons一词，于是想知道什么是non-saturating neurons。参考知乎回答：https://www.zhihu.com/question/264163033/answer/277468264 含义 non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值 saturating neurons = 被挤压
神经网络为什么要归一化
dbat
11-24 6万+
用神经网络的小伙伴都知道，数据需要做归一化，但是为什么要做归一化，这个问题一直模梭两可，网上也没有较全的回答，小编花费了一段时间，作了一些研究，给大家仔细分析分析，为什么要做归一化： 1.数值问题。 无容置疑，归一化的确可以避免一些不必要的数值问题。输入变量的数量级未致于会引起数值问题吧，但其实要引起也并不是那么困难。因为tansig的非线性区间大约在[-1.7，1.7]。......
ML基础 - 深度神经网络中解决过拟合的方法
weixin_41332009的博客
02-15 764
1. Batch Normalization 1.1 简介 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。本节是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获
神经网络模型的工作过程,神经网络模型训练过程
m0_54846070的博客
08-21 973
人工神经网络有很多种，我只会最常用的BP神经网络。不同的网络有不同的结构和不同的学习算法。简单点说，人工神经网络就是一个函数。只是这个函数有别于一般的函数。它比普通的函数多了一个学习的过程。在学习的过程中，它根据正确结果不停地校正自己的网络结构，最后达到一个满意的精度。这时，它才开始真正的工作阶段。学习人工神经网络最好先安装MathWords公司出的MatLab软件。利用该软件，你可以在一周之内就学会建立你自己的人工神经网络解题模型。如果你想自己编程实现人工神经网络，那就需要找一本有关的书籍，专门看神经网络
人工智能实验bp神经网络,BP人工神经网络模型
aifans_bert的博客
10-20 4150
一.一些基本常识和原理[什么叫神经网络?]人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
深度学习--神经网络Neural Network and Deep Learning
xusenquan的博客
06-07 241
一：两种神经网络 感知型和S型，权重w和偏置b 感知型规则模型： 实际上，⽹络中单个感知器上⼀个权重或 偏置的微⼩改动有时候会引起那个感知器的输 出完 全翻转，如0变到1 S型： S型神经元有多个输⼊，x1,x2,…。但是这些输⼊可以取0和1中的任意 值，⽽不仅仅是0或1。 二 神经网络架构 输入层，隐藏层，输出层，， 多次感知器MLP 三 梯度下降学习法： ⼀直使⽤它。 重复⼀下，我们训练神经⽹络的⽬的是找到能最⼩化⼆次代价函数C(w,b)的权重和偏置。 为了计算梯度∇
神经网络和深度学习-学习总结
MyArrow的专栏
05-05 3万+
1. 简介     神经网络和深度学习是由Michael Nielsen所写，其特色是：兼顾理论和实战，是一本供初学者深入理解Deep Learning的好书。 2. 使用神经网络识别手写数字 2.1 感知器(Perceptrons)      感知器工作原理：接收一系列二进制输入，经过特定的规则计算之后，输出一个简单的二进制。            计算规则：通过引入
一般神经元模型
优化算法
04-02 2850
一般神经元 对于输入x=(x1,x2,⋯,xn)T\mathbf{x}=(x_1,x_2,\cdots,x_n)^T，w=(w1,w2,⋯,wn)T\mathbf{w}=(w_1,w_2,\cdots,w_n)^T为神经元输入权值，θ\theta为偏置，u(x)u(\mathbf{x})和f(x)f(\mathbf{x}) 分别为神经元的基函数和激活函数。基函数 u(x)u(\mathbf{x}
Neural Networks and Deep Learning(神经网络与深度学习) - 学习笔记
weixin_34415923的博客
04-23 611
catalogue 0. 引言 1. 感知器及激活函数 2. 代价函数(loss function) 3. 用梯度下降法来学习-Learning with gradient descent 4. 用反向传播调整神经网络中逐层所有神经元的超参数 5. 过拟合问题 6. IMPLEMENTING A NEURAL NETWORK FROM SCRATCH IN PYTHON – AN...
神经网络可解释性的另一种方法：积分梯度，解决梯度饱和缺陷
zandaoguang的博客
07-14 4213
作者｜hahakity，https://zhuanlan.zhihu.com/p/148105536本文已获作者授权，不得二次转载今天介绍一种特定的神经网络可解释性方法 -- 积分梯度法...
神经网络（容易被忽视的基础知识）
金石软件
01-27 5433
来源;https://zhuanlan.zhihu.com/p/29633019 以下大多笔记主要来自cs231n和其他深度学习资料和一些我自己的补充，首先CS231n一个非常不错的deep learning课，值得一看，奉上链接，然后，cs231n本身是有笔记的-链接，最后，知乎上的一些大神对这个笔记进行了翻译---链接。在这里，我主要是将一些重要的笔记，我认为是比较容易被我们忽视的，
人工神经网络之激活函数 -Sigmoid函数
春华秋实
07-05 1万+
Sigmoid函数      Sigmoid 是使用范围最广的一类激活函数，具有指数函数形状 。正式定义为： 代码： x=-10:0.001:10;  %sigmoid和它的导数 sigmoid=1./(1+exp(-x)); sigmoidDer=exp(-x)./((1+exp(-x)).^2); figure; plot(x,sigmoid,‘r‘,x,sigmoidDer,‘b-
深度神经网络总结
热门推荐
Yasin的博客
01-09 8万+
深度神经网络（Deep Neural Networks，DNN）可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络（DFN），多层感知机（Multi-Layer perceptron,MLP）。 1 前向传播算法 1.1 从感知机到神经网络 感知机的模型是一个有若干输入和一个输出的模型，如下图: 输出和输入之间学习到一个线性关系，得到中间输出结果： 接着是一个神经元激活函数，...
AlexNet : ImageNet Classification with Deep Convolutional Neural Networks
陈依依的博客
11-24 682
1.abstract     2010年ImageNet LSVRC -2010竞赛中，AlexNet用来在1.2millon高分辨率图片上辨别1000个类别，并取得了top1,top5错误率为37.5%和17%。取得了当前的最高水平。该网络使用了60millon参数和650000个神经元，包含5个卷积层 ，3个全连接层。为了使训练更加快速，我们使用了非饱和神经元和两个GPU进行运算。为了减少过
神经元饱和是什么意思
最新发布
04-20
神经元的饱和是指神经元输出值被挤压到一个特定的区间内。具体来说，饱和神经元是经过一种处理，使得其输出值在一个特定的范围内，不会继续增大或减小。这种处理会导致神经元的梯度接近于0，从而在反向传播过程中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值