深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式

最新推荐文章于 2025-02-04 15:30:44 发布

藏锋入鞘

最新推荐文章于 2025-02-04 15:30:44 发布

阅读量2.7k

点赞数 2

文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/qq_34177812/article/details/104734822

版权

文章目录

排版可能更好一点的永久原文链接：深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式

前言

前文中对导数、偏导数已经有了概念并能进行简单计算，本篇主要介绍单变量和多变量的复合函数如何求导，以及近似公式的计算

正文

复杂函数求导

如果一个函数比较复杂，无论是用公式也好，还是用导数的定义强算也好，都比较麻烦，于是书中又介绍了关于复合函数的快速求导方法（高中数学知识），以及扩展了多变量复合函数的链式法则。

神经网络中的复合函数

这里又祭出那个十分熟悉的公式

w1, w2, …, wn为各输入对应的权重，b为神经单元的偏置。输出函数是如下的x1, x2, …, xn的一次函数f和激活函数a的复合函数。

可以把这个函数看为两个函数的复合函数

单变量复合函数链式法则

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

藏锋入鞘

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

PyTorch深度学习实战（1）——神经网络与模型训练过程详解

盼小辉丶的博客

05-28

8万+

在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。

深度学习数学基础-概率与信息论

专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。

12-01

836

概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明（statement）的公理。概率论的知识在机器学习和深度学习领域都有广泛应用，是学习这两门学科的基础。

参与评论您还未登录，请先登录后发表或查看评论

高等数学——复杂函数的求导方法

TechFlow的博客

02-14

4894

本文始发于个人公众号：TechFlow，原创不易，求个关注上一篇文章我们复习了函数求导的定义和一些常见函数的导数，今天这篇文章我们回顾一下复杂函数的求导方法。先强调一下，今天的文章很重要，想要看懂机器学习各种公式推导，想要能够自己推一推各种公式，函数求导是基础中的基础，在算法这个领域，它比积分要重要得多。我们先来看第一种情况：多个函数进行四则运算的导数。函数四则运算求导法则我们假设u...

复杂函数求导/对数指数幂公式

xnfreedom的专栏

11-05

8007

指数、对数公式https://wenku.baidu.com/view/69653d53f01dc281e53af0ba.html 求导公式https://wenku.baidu.com/view/65d5968b3c1ec5da51e270b8.html?from=search 复合函数求导法则https://baike.baidu.com/item/复合函数求导法则/15792114 复...

机器学习数学基础-多元复合函数求导

最新发布

m0_69378371的博客

02-04

816

多元复合函数求导是微积分中的一个重要内容，涉及对由多个变量组成的复合函数进行求导。对于复合函数的求导，我们通常使用链式法则（Chain Rule），它允许我们计算一个函数的导数，这个函数是由其他多个函数组合而成的。假设有两个函数：那么复合函数可以写为： h(x1,x2,…,xn)=f(g(x1,x2,…,xn)) h(x_1, x_2, \dots, x_n) = f(g(x_1, x_2, \dots, x_n)) h(x1,x2,…,xn)=f(g(x1,x2,…,xn))链式法则在多元函数

深度学习-链式求导

花开花落，人走茶凉

07-02

5178

链式法则是微积分中的求导法则，用于求一个复合函数的导数假设 a，b，c，d，ea，b，c，d，ea，b，c，d，e 存在下面的关系存在等式： a+b=cb+1=dc×d=c a+b=c \\ b+1=d \\ c\times d=c a+b=cb+1=dc×d=c 假设 a=2，b=1a=2，b=1a=2，b=1 那么 c=a+b=3d=b+1=2c=a+b=3\\d=b+1=2c=a+b...

深度学习-链式求导法则

09-06

2230

假设有两个函数 ( f ) 和 ( g )，其中 ( f ) 是 ( g ) 的函数，即 ( f ) 和 ( g ) 的复合函数为 ( h(x) = f(g(x)) )。ddxfgxdfdg⋅dgdxdxdfgx))dgdf⋅dxdg也就是说，复合函数 ( h(x) ) 的导数等于外层函数 ( f ) 对中间函数 ( g ) 的导数，乘以中间函数 ( g ) 对 ( x ) 的导数。

复杂函数的导数

weixin_30325793的博客

07-25

645

转载于:https://www.cnblogs.com/liuys635/p/11243130.html

动手学深度学习——链式法则、自动求导及实现

橙子的博客

11-18

5276

1、向量链式法则标量链式法则：拓展到向量：例子1： x,w是长为n的向量，y是一个标量。 z函数是x和w做累积减去y做平方。计算z关于w的一个导数。对z进行分解。例子2： X是mxn的一个矩阵，w是一个长为n的向量，y是一个长为m的向量 z为X乘以w减去y然后进行L2norm 计算z对w的导数自动求导自动求导计算了一个函数在指定值上的导数，他有别于符号求导，数值求导。符号求导：数值求导：自动求导是怎么做出...

1-机器学习系列（1）：深度前馈神经网络--原理解释、公式推导及Python实现2

08-03

- 深度前馈神经网络是一种多层感知机，试图近似一个目标映射函数 `f(x; θ)`，其中 `x` 是输入，`θ` 是网络的参数。 2. **变量约束** - 输入层特征数通常表示为 `nx`。 - 网络层数（除去输入层）表示为 `L`，总...

深度学习的数学-神经单元误差和反向传播

JeffreyWang的技术博客

03-09

2016

文章目录前言正文神经单元误差梯度下降算法在实际应用中的难点神经单元误差的定义和含义神经单元误差关于权重和偏置的偏导数（重点）关于权重的偏导数推导偏置的偏导数推导公式一般化误差反向传播法输出层的神经单元误差计算反向递推关系式(重点)通过反向递推公式，对梯度下降法的改进总结排版可能稍微好一点的永久博客链接：深度学习的数学-神经单元误差和反向传播前言本篇博客主要讲神经单元误差的定义及其含义，以及比...

BP算法双向传_链式求导最缠绵（深度学习入门系列之八）

weixin_34040079的博客

06-26

618

摘要：说到BP(Back Propagation)算法，人们通常强调的是反向传播，其实它是一个双向算法：正向传播输入信号，反向传播误差信息。接下来，你将看到的，可能是史上最为通俗易懂的BP图文讲解，不信？来瞅瞅并吐吐槽呗！更多深度文章，请关注：https://yq.aliyun.com/cloud 系列文章：一入侯门“深”似海，深度学习深几许（深度学习入门系列之一）人工“碳”索...

凸优化专题1

White__River的博客

02-28

508

凸优化专题

人工智能算法数学基础之求导过程推导（单变量函数求导、多变量函数求导、向量求导、矩阵求导）

nosprings的博客

10-23

2215

1、导数定义：设函数y=f（x）在点x0的某个邻域内有定义，当自变量x在x0处有增量Δx，（x0+Δx）也在该邻域内时，相应地函数取得增量Δy=f（x0+Δx）-f（x0）；如果Δy与Δx之比当Δx→0时极限存在，则称函数y=f（x）在点x0处可导，并称这个极限为函数y=f（x）在点x0处的导数记作需要指出的是：两者在数学上是等价的。导函数如果函数y=f...

多元复合函数的求导法则

北漂人家

07-01

2721

深度学习优化函数

wchzh2015的博客

05-03

415

这里添加的是我学习中看到的博客，后期有空整理知识点，你也可以点开链接看看。学习博客： 深度学习优化函数详解

【深度学习 反向传播算法01】什么是反向传播算法？（求解梯度-链式求导法则）

汪汪杂记

07-18

2086

反向传播算法本文是根据深度学习课程图文做的笔记 0. 背景简单深度学习模型的基本流程： 1. 定义模型 2. 读入数据 3. 给出损失函数f 4. 梯度下降法更新参数（手动求梯度、pytorch自动求导）对于复杂模型，如100层网络，该怎么解决呢？ ⭐反向传播算法自动求导的本质就是反向传播算法反向传播算法是一个有效求解梯度的算法，本质是链式求导法则的应用 1. 链式法则利用链式求导法则：令 q=x+y 它们的微分：又因为 q = x +y 则： ..

对导数（梯度）传播的理解（上）

koryako的博客

01-13

786

导数的链式法则的理解 var x = -2, y = 5,z=-4,h = 0.1;// whenever value of notation h was changeed, but the following derivateive value was not changed. var i=1; while (i<=10) {

q = x*w + b 后向传递梯度求导(求dx,dw,db)

咸鱼有梦想

10-30

780

x:N∗Dx: N*Dx:N∗D w:D∗Mw: D*Mw:D∗M b:Mb: Mb:M 后向传递得到：αfαq=dout\frac{\alpha f}{\alpha q} = doutαqαf=dout dout:N∗Mdout:N*Mdout:N∗M 求解dxdxdx αqi,kαxi,j=wj,kαfαqi,j∗αqi,kαxi,j=douti,k∗wj,k∵q and&nbsp...