链式法则-梯度更新公式推导（手写笔记）

最新推荐文章于 2023-12-08 21:03:42 发布
最新推荐文章于 2023-12-08 21:03:42 发布
阅读量2k 收藏 14
点赞数 3
分类专栏： 统计学习方法2-李航 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HPGaa/article/details/119297269
版权

虽然以前学过导数、偏导、梯度之类的相关知识，但时间久远导致总感觉晕晕乎乎的，于是自己推导一下具有一个隐藏层的神经网络的梯度反向传播公式，希望对大家有帮助。

笔记中指出了为什么会存在梯度消失以及梯度爆炸现象。

梯度消失

主要是由于激活函数的导数值域通常比较小，当网络较深时，导数的连乘会导致该值越来越趋于0，从而导致靠近输出端的权重能够得到更新，而越靠近输入端的权重无法得到更新，最终导致学习效果不佳。

梯度爆炸

从公式中可以看出，梯度的反向传播与权重本身的值也有关系，当权重初始值特别大时，会导致反向传播时偏导数很大，即发生梯度爆炸现象。

因此我们在训练网络时应避免这两种现象，解决或者说减小梯度消失的办法是设计新的激活函数，比如ReLU激活函数就比较好的解决了当输出大于0时的梯度消失问题（当输出小于0时问题依然存在），这几是为什么目前绝大部分的神经网络都用ReLU作为激活函数。
而梯度爆炸主要就是通过设置较小的初始化权重来解决。

看到这里相信大家一定有所收获吧！！follow me，不定期更新学习笔记和思考。（注：最近主要在学习统计学习方法第2版-李航，有时间会把学到的知识点整理出来分享给大家）
在这里插入图片描述

图灵机学长
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
机器学习基础 1：梯度以及链式法则
MatrixArch
07-11 3107
###一元函数与多元函数    按照函数中包含的自变量个数，我们可以将函数分为： 一元函数：   只有一个自变量的函数 $ y=f(x)$，若 xxx 是实数，则函数是一条线 二元函数：   有两个自变量的函数 $ z=f(x,y)$，若 xxx 与 yyy 是实数，则函数是一个面 …… ###导数与偏导数    导数的本质是一个微小区间内的变化量    对于一元函数来说，导数就是函数在某个点...
（《机器学习》完整版系列）附录 ——3、复合函数梯度的链式法则（链的次序不可交换）
qiy_icbc的博客
02-27 1214
推导了复合函数梯度的链式法统一形式。 首创了的链式记号，非常易记：分子右挪+分数约分，特别是它强调了链的表达次序，由于矩阵积没有交换律，故该链的次序不可交换。 注：修正了一般教材中的错误次序（在标量时正确）
Tensorflow2.0 链式法则 梯度
廷益_飞鸟的博客
09-18 288
链式法则 梯度计算 公式 δyδx=δyδuδuδx \frac{\delta y}{\delta x} = \frac{\delta y}{\delta u} \frac{\delta u}{\delta x} δxδy​=δuδy​δxδu​ """ 反向传播 链式法则 """ import tensorflow as tf # 准备数据 x = tf.constant(1.) w1 = tf.constant(2.) b1 = tf.constant(1.) w2 = tf.constan
机器学习基础（十一）—— Logistic Regression 梯度更新公式的推导
03-24 2362
Logistic Regression 所要最佳化的问题是： minw1N∑n=1Nln(1+exp(−ynwTxn))Ein(w) \min_{\mathbf{w}}\;\underbrace{\frac1N\sum_{n=1}^N\ln\left (1+\exp(-y_n\mathbf{w}^T\mathbf{x}_n)\
梯度更新方法总结
怪兽
02-23 6341
梯度更新 举例说明 对于逻辑归回梯度求解： 假设预测输出函数：h(x0,x1,...,xn)=∑i=0nθixi+θ0h(x0,x1,...,xn)=∑i=0nθixi+θ0h(x_0, x_1,...,x_n)=\sum_{i=0}^n \theta_i x_i+\theta_0 i：一次输入中，第i个数据 实际输出：yyy Cost Function函数：J(θ0,θ1,...
线性表的链式实现-----单链表
07-02
LinkList.h与LinkList.c。使用c语言实现单链表数据结构。注释详细。
链式栈---任意四则运算
10-19
支持类似(((234443-3222)*323)-(((3-1)/2)*((2+3)/2)+((2+1)/(4-1))))任意四则运算
2. 线性表-链式存储-链表1
08-03
第二节 线性表-链式存储-链表回顾数组时间复杂度：访问：由于可以随机访问，O(1)插入：O(n)删除：O(n)静态操作：常数时间内完成动态操作：线性时间内完成此
SQL拼装1.1 链式编程-易语言
06-12
[更新] 抛弃用"类自身" 克0隆, 怕有什么问题. 改用特定方法设置内容 [更新] 简单键值对 2016-12-30: [废除] 简单键值对, 改 "自定义数据类型->数组" [废除] 生成组装SQL [革命] 增加 "绑定adodb连接件对象", "绑定...
【ch07-反向传播算法】 7.链式法则.pdf
09-21
链式法则的应用非常广泛，例如在神经网络中，链式法则可以用来计算神经网络的权重更新。 基本规则 链式法则的基本规则是，如果我们有一个复杂函数f(x) = g(h(x))，那么我们可以使用链式法则来计算f(x)的导数，具体...
链式法则求导的原则和梯度回传
qq_18604793的博客
07-04 1718
一、链式法则简化的原则 复杂运算的简化；定义基本算子为加、减、乘、除、幂以及其他[简单函数]（如sin,tan……）(https://zhuanlan.zhihu.com/p/63265208)；假如一个运算包含多个算子，那么精简的原则就是怎么把复杂的多算子运算，转换为单一的算子的一次运算，或者其他的一元简单函数，这种精简包含两个特征 （1）多算子简化为单一算子或者单一的简单函数； （2）单一算子或简单函数必须仅运行1次； （3）如果简化为加、减、乘、除，简化后的自变量最多两个，至少1个； （4）如果简.
梯度下降算法更新公式推导
Victor_Li_的博客
11-02 378
如果用一阶泰勒展开式,得到的函数近似表达式是:f(θ) = f(θ0) + (θ - θ0)*f '(θ0)。我们知道梯度下降每走一步都是朝着最快下山的方向(因为希望尽快收敛得到最佳值),因此应该最小化f(θ) - f(θ0) = (θ - θ0)*f '(θ0)。当v和f '(θ0)反方向时,我们可以用f '(θ0)向量来表示v,即v = -η*f '(θ0) (其中η表示长度大小)这样就得到了更新公式 θ = θ0 - η*f '(θ0) (其中η是学习率,f '(θ0)是函数在θ0处的梯度)
关于全连接层梯度的链式法则
Keep_Trying_Go的博客
03-31 391
import tensorflow as tf import numpy as np #构建待优化变量 x=tf.constant([1.]) w1=tf.constant([2.]) b1=tf.constant([1.]) w2=tf.constant([2.]) b2=tf.constant([1.]) #构建梯度记录器 with tf.GradientTape(persistent=True) as tape: #tf.Variable类型的张量需要人为的设置记录梯度信息 tape.
梯度下降法中步长更新公式
qq_35027690的博客
12-04 4041
  凸优化问题有一个重要的特性：所有的局部最优解一定是全局最优解。   但实际中的问题往往不是凸的，或者说其梯度很难求解，所以我们想要得到精确的解很难。工程上一般用迭代法求近似解。它的思想是，从一个初始点开始，反复使用某种规则移动到下一个点，构造这样一个数列，直至收敛到梯度为0的点处。即有下列极限成立。 lim⁡k→+∞∇f(xk)=0\mathop {\lim }\limits_{k \to ...
深度学习基础6（微分，偏导，梯度，链式法则）
FLR的博客
03-25 2167
微积分 如下图所示，内接多边形的等长边越多，就越接近圆。 这个过程也被称为逼近法（method of exhaustion）。 事实上，逼近法就是**积分（integral calculus）**的起源 微积分的另一支，**微分（differential calculus）**被发明出来。 在微分学最重要的应用是优化问题，即考虑如何把事情做到最好，这种问题在深度学习中是无处不在的。 在深度学习中，我们“训练”模型，不断更新它们，使它们在看到越来越多的数据时变得越来越好。 通常情况下，变得更好意味着最小化一
梯度下降法常用的更新公式
学无止境
06-15 856
Adagrad 动量法
张量，梯度，链式法则的基本概念
最新发布
qq_46348508的博客
12-08 1030
张量是一种多维数组，支持在GPU上进行计算，是计算图中的节点，并且支持自动微分。
极限和连续+偏导+方向导数+可微+梯度+链式法则+hessian矩阵
weixin_51589123的博客
09-02 2488
文章目录前言一、极限和连续二、偏导数三、方向导数四、可微五、梯度六、链式法则七、Hessian矩阵 前言 多元函数 y对某一个变量的导数是偏导数； 偏导数的结果可以推广到任意方向，也就是方向导数； 方向导数只跟这一个点的梯度有关 对于梯度的研究并不足以证明函数在某点上取到极值，还需要对二阶微进行计算 多元函数的二阶微信就是hessian矩阵——可以刻画函数在任意方向的二阶导数 当hessian矩阵是正定矩阵，则函数在此点取最小值，当hessian矩阵为负，则函数在此点取最大值，当函数在某些方向取正，在某些方
梯度下降算法——theta参数更新公式的数学理解
浮沉随浪。
07-27 2570
（notice：粗体以示向量） 一、引出算法 在学习 Linear Regression 算法时，经典案例就是房价预测。在通过一系列预处理操作后，得到一个带有特征变量xxx和可学习参数θ\thetaθ的假设函数: hθ(x)=θ0+θ1x1+θ2x2h_\theta(\textbf{x}) = \theta_0 + \theta_1{x_1} +\theta_2 {x_2}hθ​(x)=θ0​+θ1​x1​+θ2​x2​ 一般式： hθ(x)=∑i=0nθixi=θT⋅x（n为特征数） h_\theta(\
循环神经网络出现梯度消失现象的推导公式
05-12
循环神经网络（RNN）中的梯度消失问题是由于反向传播算法中的链式法则导致的。如果在RNN中使用标准的反向传播算法，每个时间步的梯度将乘以一个矩阵，这个矩阵也就是RNN的权重矩阵。如果这个权重矩阵的所有特征值都小于1，那么在反向传播中，梯度会在时间步骤中指数级地减小，这就是所谓的梯度消失问题。 具体地，我们可以考虑一个时间步骤为t的RNN单元，其输入为$x_t$，输出为$h_t$，权重矩阵为$W$，激活函数为$f$。假设我们的目标是最小化损失函数$L$，则RNN的参数可以通过反向传播算法来更新。 对于第$t$个时间步骤的参数更新，我们需要计算$L$对$h_t$的梯度，即$\frac{\partial L}{\partial h_t}$。由于$h_t$同时影响到后续时间步骤的输出，我们还需要计算$L$对后续时间步骤的$h_{t+1}, h_{t+2}, ...$的梯度，即$\frac{\partial L}{\partial h_{t+i}}$。根据链式法则，$\frac{\partial L}{\partial h_{t+i}}$可以表示为： $$ \frac{\partial L}{\partial h_{t+i}} = \frac{\partial L}{\partial h_{t+i-1}} \frac{\partial h_{t+i-1}}{\partial h_{t+i}} = \frac{\partial L}{\partial h_{t+i-1}} W $$ 其中，$\frac{\partial h_{t+i-1}}{\partial h_{t+i}}$就是RNN的权重矩阵$W$。因此，我们可以得到： $$ \frac{\partial L}{\partial h_t} = \sum_{i=t}^{T} \frac{\partial L}{\partial h_i} \frac{\partial h_i}{\partial h_t} = \sum_{i=t}^{T} \frac{\partial L}{\partial h_i} \prod_{j=t+1}^{i} W $$ 其中，$T$是序列的长度。从上面的公式可以看出，如果矩阵$W$的所有特征值都小于1，那么在求解$\frac{\partial L}{\partial h_t}$时，梯度会在每个时间步骤中指数级地减小，从而导致梯度消失问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值