深度学习之 梯度消失与爆炸原因公式推导

最新推荐文章于 2023-02-10 15:45:35 发布
最新推荐文章于 2023-02-10 15:45:35 发布
阅读量949 收藏 3
点赞数 1
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33602281/article/details/85221638
版权

在这里插入图片描述
如果要求w1的梯度的话，那么就是
在这里插入图片描述
假如激活函数用的sigmod话，那么如下：

在这里插入图片描述
所以
在这里插入图片描述

在这里插入图片描述

所以导致梯度消失问题

那么为什么换了relu激活函数也会有梯度消失问题呢？因为乘积中还有另外一部分
在这里插入图片描述

这个wj如果有很多w是0到1之间的数，那么最终还是会导致梯度消失，如果有很多都是大于1的数，那么就会导致梯度爆炸

Python深度学习实践：梯度消失和梯度爆炸的解决方案
AI天才研究院
09-20 1378
在深度学习领域，特别是在训练深层神经网络时，梯度消失和梯度爆炸是两个普遍存在的问题。这些问题限制了网络的训练效率和性能，特别是当网络层数增加时。梯度消失指的是梯度在反向传播过程中变得非常小，导致权重更新几乎为零，从而阻碍了学习过程。相反，梯度爆炸则是梯度变得异常大，超过了数值的正常范围，可能导致权重更新过于剧烈，甚至引发数值不稳定和崩溃。梯度裁剪：通过设置阈值来限制梯度的大小，保证梯度更新不会过大或过小。激活函数选择：选择具有良好导数特性的激活函数，如ReLU，减少梯度消失的风险。权重初始化。
介绍一下ResNet，结合ResNet公式推导为何其能解决梯度消失
最新发布
weixin_44808274的博客
09-19 798
其中，H(x)是残差块（Residual Block）的输出，x是输入，F(x)是表示残差的函数。这是因为，如果恒等映射F(x)接近于零，那么梯度在反向传播时不会被消失或爆炸，而是保持相对稳定，有助于更深层次的网络的训练。是一种深度卷积神经网络架构，它在深度神经网络的训练中解决了梯度消失问题，允许训练非常深的网络，通常包括数十到数百个卷积层。总的来说，ResNet通过跳跃连接和残差结构的组合，允许梯度更有效地传播，减少了梯度消失问题，使得训练非常深的神经网络变得更加稳定和可行。很小也不会影响梯度的传播。
梯度消失和梯度爆炸原因推导
qq_36782366的博客
05-06 1202
什么导致了消失的梯度问题？也就是在深度神经网络中的所谓的梯度不稳定性 为了弄清楚为何会出现消失的梯度，来看看一个极简单的深度神经网络：每一层都只有一个单一的神经元。下图就是有三层隐藏层的神经网络： 简单的深度神经网络 这里， 是权重，而 是偏差，C 则是某个代价函数。回顾一下，从第 j 个神经元的输出，其中 是通常的 sigmoid 函数，而 是神经元的带权输入。我已经在最后...
数学公式推导——理解梯度消失和梯度爆炸
u012409283的博客
01-02 1327
梯度消失和梯度爆炸的数学公式解释
BP算法和RNN_RNN/LSTM BPTT详细推导以及梯度消失问题分析
weixin_39634438的博客
11-20 311
最近面试被问到了LSTM为什么能够解决long-range dependency的问题，回答这个问题实际上需要把BPTT公式写出来，在这篇博文中我们进行了部分推导习翔宇：RNN Part 3-RNN中的BPTT算法和梯度消失问题​zhuanlan.zhihu.com但是不够系统化，本篇博文将完全对RNN的BPTT以及LSTM的BPTT进行推导，并对long-range dependency问题进行...
深度学习---之梯度消失与梯度爆炸产生的原因
zxyhhjs2017的博客
01-23 2829
产生消失的梯度问题的原因 先看一个极简单的深度神经网络：每一层都只有一个单一的神经元。如下图： 代价函数C对偏置b1的偏导数的结果计算如下： 先看一下sigmoid 函数导数的图像： 该导数在σ′(0) = 1/4时达到最高。现在，如果我们使用标准方法来初始化网络中的权重，那么会使用一个均值为0 标准差为1 的高斯分布。因此所有的权重通常会满足|wj
梯度消失(Gradient Vanishing)
qq_55126913的博客
02-10 513
在之前的文章中我们提到过反向传播：https://blog.dotcpp.com/a/89149 ，在反向传播中，参数是根据求该参数和损失函数的梯度来更新的，也就是沿着梯度下降的方向来更新模型参数。梯度消失其实就是梯度已经差不多趋近于0了，参数已经更新不动了，从而导致收敛速度慢，训练时间无限延长。所以也许靠近输出层的那几层梯度下降也许比较ok，但是靠近输入层的梯度下降肯定没这么快.可以o必然是一个很小的数，为什么.很小，更何况这个很小的数还要和。的输出范围在[0,1]之间，如果。是一个很小很小的数.
吴恩达深度学习笔记_公式推导.zip
06-03
《吴恩达深度学习笔记_公式推导》是针对吴恩达教授的深度学习课程的一份详尽学习资料，旨在帮助学习者深入理解和掌握深度学习的核心概念与算法。吴恩达，作为全球知名的AI专家，他的课程以其清晰易懂、实践性强而受...
神经网络梯度消失和梯度爆炸及解决办法
Microstrong
04-21 2万+
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s/6xHC5woJND14bozsBNaaXQ目录：（1）    神经网络梯度消失与梯度爆炸（2）    几种激活函数的比较推荐阅读：《神经网络激活函数的...
梯度消失和梯度爆炸
一新新的小白的博客
04-24 332
前言 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要...
梯度消失和梯度爆炸原因及其解决方案
热门推荐
小T是我
08-07 8万+
当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题： 首先，梯度消失或梯度爆炸 其次，训练缓慢 第三，训练参数大于训练集的风险 梯度消失的原因： 生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内...
10.神经网络与深度学习（九）—梯度消失问题
quinn1994的博客
04-16 947
1）引言终于开始进入深度学习了，其实深度学习就是多层神经网络训练数据。2）什么是梯度消失问题？梯度消失问题实际上是指在隐藏层BP的时候梯度是逐渐变小的。也就是说前面隐藏层的学习速度比后面的隐藏层学习速度小。3）什么导致了梯度消失我们先看一个很简单的深度神经网络：每一层只有一个单一的神经元。下图就是三层隐藏层的神经网络：我们这里先给出代价函数关于第一个隐藏神经元的梯度∂C/∂b1的公式，如下：我们现...
latex梯度_不用L约束又不会梯度消失的GAN，了解一下？
weixin_33480380的博客
01-17 230
不知道从什么时候开始，我发现我也掉到了GAN的大坑里边了，唉，争取早日能跳出来...这篇博客介绍的是我最近提交到arxiv的一个关于GAN的新框架，里边主要介绍了一种对概率散度的新理解，并且基于这种理解推导出了一个新的GAN。整篇文章比较偏理论，对这个GAN的相关性质都做了完整的论证，自认为是一个理论完备的结果。先摆结论：1、论文提供了一种分析和构造概率散度的直接思路，从而简化了构建新GAN框架的...
详细推导---神经网络中梯度爆炸，消失，产生的原因
Mr_DaYang的博客
06-24 423
梯度爆炸与消失的推导 以一个3个神经元的网络为例，优化参数w1 综上所述原因如下： 梯度消失一般出现深层网络中采用了不合适的损失函数。 梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。 解决方案 （1）预训练加微调 （2）梯度剪切、正则 （3）ReLU、LeakyReLU、ELU等激活函数 （4）BatchNormalization （5）残差结构 （6）LSTM 本文重点解释问题产生的原因，解决方案可参考 文章1 ...
浅谈神经网络中的梯度爆炸问题
weixin_34174422的博客
12-18 1044
在神经网络中，梯度下降算法是使用非常广泛的优化算法。梯度下降算法的变体有好多，比如随机梯度下降（Stochastic gradient descent，SGD）、小批量梯度下降（Mini Batch Gradient Descent）等，但对于梯度下降算法而言，难免需要考虑梯度下降算法中遇到的梯度弥散以及梯度爆炸等问题，本文主要讲解神经网络中的梯度爆炸问...
RNN基本原理及梯度消失、梯度爆炸的问题原因及解决方法
PuJiang-的博客
03-25 7907
一、RNN基本结构 1、隐层状态sts_tst​ st=σ(Uxt+Wst−1+b)s_t=\sigma(Ux_t+Ws_{t-1}+b)st​=σ(Uxt​+Wst−1​+b) σ\sigmaσ()是激活函数，通常选用Tanh、ReLU。 2、输出状态oto_tot​ ot=g(Vst+c)o_t=g(Vs_t+c)ot​=g(Vst​+c) ggg()是激活函数，对于分类任务通常选用sigmoidsigmoidsigmoid()。 3、Loss计算 输出状态oto_tot​与目标输出yty_tyt​计
神经网络的梯度消失和梯度爆炸问题（一）：反向传播——公式推导+示例说明
ypfzhao
10-23 8851
本文主要为大家解释一下神经网络的反向传播，为神经网络的梯度消失和梯度爆炸问题做一个铺垫。 目录   一、Sigmoid函数 二、反向传播 2.1前向传播 2.2误差计算 2.3反向传播 2.4权重更新 2.5误差再次计算 2.6权重更新的标量计算方法 三、总结 一、Sigmoid函数 本文后面所用的神经网络激活函数全部将会是sigmoid函数，它可以将变量映射到0，1之间...
BPTT推导及RNN梯度消失和梯度爆炸的原因
knight的博客
03-30 1218
[深度学习] 反向传播推导
四月晴
08-16 448
反向传播推导 反向传播是一种利用链式求导法则求梯度的方法，理解这个过程对于学习深度学习是十分重要的。之前一直只是理解基本的概念，下面详细说明具体的理论并具体推导。 基本求导 f(x,y)=xy∂f∂x=y∂f∂y=xf(x,y)=xy∂f∂x=y∂f∂y=xf(x, y) = xy \quad \frac{\partial f}{\partial x } = y \quad \frac{\p...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值