深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式

最新推荐文章于 2025-04-14 20:00:27 发布
最新推荐文章于 2025-04-14 20:00:27 发布
阅读量2.7k 收藏 6
点赞数 2
文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34177812/article/details/104734822
版权

文章目录


排版可能更好一点的永久原文链接： 深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式

前言

前文中对导数、偏导数已经有了概念并能进行简单计算，本篇主要介绍单变量和多变量的复合函数如何求导，以及近似公式的计算

正文

复杂函数求导

如果一个函数比较复杂，无论是用公式也好，还是用导数的定义强算也好，都比较麻烦，于是书中又介绍了关于复合函数的快速求导方法（高中数学知识），以及扩展了多变量复合函数的链式法则。

神经网络中的复合函数

这里又祭出那个十分熟悉的公式

w1, w2, …, wn为各输入对应的权重，b为神经单元的偏置。输出函数是如下的x1, x2, …, xn的一次函数f和激活函数a的复合函数。

可以把这个函数看为两个函数的复合函数

单变量复合函数链式法则
<
最低0.47元/天 解锁文章
藏锋入鞘
关注
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
深度学习数学基础-概率与信息论
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
12-01 839
概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明（statement）的公理。概率论的知识在机器学习和深度学习领域都有广泛应用，是学习这两门学科的基础。
复杂函数求导/对数指数幂公式
xnfreedom的专栏
11-05 8017
指数、对数公式https://wenku.baidu.com/view/69653d53f01dc281e53af0ba.html 求导公式https://wenku.baidu.com/view/65d5968b3c1ec5da51e270b8.html?from=search 复合函数求导法则https://baike.baidu.com/item/复合函数求导法则/15792114 复...
高等数学——复杂函数的求导方法
TechFlow的博客
02-14 4909
本文始发于个人公众号：TechFlow，原创不易，求个关注 上一篇文章我们复习了函数求导的定义和一些常见函数的导数，今天这篇文章我们回顾一下复杂函数的求导方法。先强调一下，今天的文章很重要，想要看懂机器学习各种公式推导，想要能够自己推一推各种公式，函数求导是基础中的基础，在算法这个领域，它比积分要重要得多。 我们先来看第一种情况：多个函数进行四则运算的导数。 函数四则运算求导法则 我们假设u...
深度学习中的数学基础：从向量到概率的全面解析
最新发布
2501_90186640的博客
04-14 1094
本文深入探讨深度学习涉及的数学基础知识，包括向量、矩阵、导数、概率等。详细阐述各知识点的概念、运算及在深度学习中的应用，如矩阵运算助力模型优化，概率分布用于处理数据不确定性。通过对这些内容的学习，帮助读者夯实深度学习的数学根基，理解深度学习模型的原理与机制，为深入研究和实践深度学习奠定基础。
深度学习-链式求导
花开花落，人走茶凉
07-02 5185
链式法则是微积分中的求导法则，用于求一个复合函数的导数 假设 a，b，c，d，ea，b，c，d，ea，b，c，d，e 存在下面的关系 存在等式： a+b=cb+1=dc×d=c a+b=c \\ b+1=d \\ c\times d=c a+b=cb+1=dc×d=c 假设 a=2，b=1a=2，b=1a=2，b=1 那么 c=a+b=3d=b+1=2c=a+b=3\\d=b+1=2c=a+b...
深度学习-链式求导法则
09-06 2328
假设有两个函数 ( f ) 和 ( g )，其中 ( f ) 是 ( g ) 的函数，即 ( f ) 和 ( g ) 的复合函数为 ( h(x) = f(g(x)) )。ddxfgxdfdg⋅dgdxdxd​fgx))dgdf​⋅dxdg​也就是说，复合函数 ( h(x) ) 的导数等于外层函数 ( f ) 对中间函数 ( g ) 的导数，乘以中间函数 ( g ) 对 ( x ) 的导数。
复杂函数的导数
weixin_30325793的博客
07-25 646
转载于:https://www.cnblogs.com/liuys635/p/11243130.html
1-机器学习系列（1）：深度前馈神经网络--原理解释、公式推导及Python实现2
08-03
- 深度前馈神经网络是一种多层感知机，试图近似一个目标映射函数 `f(x; θ)`，其中 `x` 是输入，`θ` 是网络的参数。 2. **变量约束** - 输入层特征数通常表示为 `nx`。 - 网络层数（除去输入层）表示为 `L`，总...
深度学习的数学-神经单元误差和反向传播
JeffreyWang的技术博客
03-09 2027
文章目录前言正文神经单元误差梯度下降算法在实际应用中的难点神经单元误差的定义和含义神经单元误差关于权重和偏置的偏导数（重点）关于权重的偏导数推导偏置的偏导数推导公式一般化误差反向传播法输出层的神经单元误差计算反向递推关系式(重点)通过反向递推公式，对梯度下降法的改进总结 排版可能稍微好一点的永久博客链接：深度学习的数学-神经单元误差和反向传播 前言 本篇博客主要讲神经单元误差的定义及其含义，以及比...
动手学深度学习——链式法则、自动求导及实现
橙子的博客
11-18 5291
1、向量链式法则 标量链式法则： 拓展到向量： 例子1： x,w是长为n的向量，y是一个标量。 z函数是x和w做累积减去y做平方。 计算z关于w的一个导数。对z进行分解。 例子2： X是mxn的一个矩阵，w是一个长为n的向量，y是一个长为m的向量 z为X乘以w减去y然后进行L2norm 计算z对w的导数 自动求导 自动求导计算了一个函数在指定值上的导数，他有别于符号求导，数值求导。 符号求导： 数值求导： 自动求导是怎么做出...
BP算法双向传_链式求导最缠绵（深度学习入门系列之八）
weixin_34040079的博客
06-26 621
摘要：说到BP(Back Propagation)算法，人们通常强调的是反向传播，其实它是一个双向算法：正向传播输入信号，反向传播误差信息。接下来，你将看到的，可能是史上最为通俗易懂的BP图文讲解，不信？来瞅瞅并吐吐槽呗！ 更多深度文章，请关注：https://yq.aliyun.com/cloud 系列文章： 一入侯门“深”似海，深度学习深几许（深度学习入门系列之一）人工“碳”索...
凸优化专题1
White__River的博客
02-28 513
凸优化专题
人工智能算法数学基础之求导过程推导（单变量函数求导、多变量函数求导、向量求导、矩阵求导）
nosprings的博客
10-23 2233
1、导数定义： 设函数y=f（x）在点x0的某个邻域内有定义，当自变量x在x0处有增量Δx，（x0+Δx）也在该邻域内时，相应地函数取得增量Δy=f（x0+Δx）-f（x0）；如果Δy与Δx之比当Δx→0时极限存在，则称函数y=f（x）在点x0处可导，并称这个极限为函数y=f（x）在点x0处的导数记作 需要指出的是： 两者在数学上是等价的。 导函数 如果函数y=f...
多元复合函数的求导法则
北漂人家
07-01 2766
深度学习优化函数
wchzh2015的博客
05-03 416
这里添加的是我学习中看到的博客，后期有空整理知识点，你也可以点开链接看看。 学习博客： 深度学习优化函数详解
【深度学习 反向传播算法01】什么是反向传播算法？ （求解梯度-链式求导法则）
汪汪杂记
07-18 2091
反向传播算法 本文是根据深度学习课程图文做的笔记 0. 背景 简单深度学习模型的基本流程： 1. 定义模型 2. 读入数据 3. 给出损失函数f 4. 梯度下降法更新参数（手动求梯度、pytorch自动求导） 对于复杂模型，如100层网络，该怎么解决呢？ ⭐反向传播算法 自动求导的本质就是反向传播算法 反向传播算法是一个有效求解梯度的算法，本质是链式求导法则的应用 1. 链式法则 利用链式求导法则：令 q=x+y 它们的微分： 又因为 q = x +y 则： ..
对导数（梯度）传播的理解（上）
koryako的博客
01-13 789
导数的链式法则的理解 var x = -2, y = 5,z=-4,h = 0.1;// whenever value of notation h was changeed, but the following derivateive value was not changed. var i=1; while (i<=10) {
q = x*w + b 后向传递梯度求导(求dx,dw,db)
咸鱼有梦想
10-30 788
x:N∗Dx: N*Dx:N∗D w:D∗Mw: D*Mw:D∗M b:Mb: Mb:M 后向传递得到：αfαq=dout\frac{\alpha f}{\alpha q} = doutαqαf​=dout dout:N∗Mdout:N*Mdout:N∗M 求解dxdxdx αqi,kαxi,j=wj,kαfαqi,j∗αqi,kαxi,j=douti,k∗wj,k∵q and&nbsp...
深度学习 数学
03-19
### 深度学习中的数学概念 深度学习的核心依赖于多种数学工具，这些工具帮助构建模型并优化其性能。以下是深度学习中常见的数学概念及其作用： #### 1. **函数** 函数是描述输入与输出之间关系的基础工具，在深度学习中用于定义神经网络的映射能力。常用的函数包括线性函数、激活函数（如 Sigmoid、ReLU）、损失函数等[^4]。 #### 2. **数列与序列** 数列的概念在深度学习中主要用于分析迭代过程的行为，例如梯度下降过程中参数更新的历史记录可以看作是一个数列[^1]。 #### 3. **向量与矩阵** 向量和矩阵是表示数据的主要形式。权重矩阵和特征向量构成了神经网络的核心运算单元。通过矩阵乘法实现高效的前向传播计算，同时利用矩阵微分完成反向传播中的梯度计算。 #### 4. **偏导数与链式法则** 偏导数用于衡量目标函数相对于某个变量的变化率，这是梯度下降算法的关键部分。链式法则则允许我们高效地计算复合函数的导数，从而支持误差信号沿网络逐层传递。 #### 5. **多变量函数的近似公式** 泰勒展开是一种重要的近似技术，它可以帮助理解复杂的非线性变换如何被分解成一系列简单的局部变化。这种思想贯穿于许多优化策略之中。 #### 6. **梯度下降法** 这是一种寻找最小值的经典数值方法，广泛应用于训练各种类型的机器学习模型。具体来说，随机梯度下降(SGD)以及它的变体(Adam, RMSProp 等)已经成为现代深度学习框架不可或缺的一部分。 #### 7. **误差反向传播** BP (Backpropagation) 是一种基于自动微分原理的技术，能够有效估计每一层权值对于最终预测错误的影响程度，并据此调整它们以改善整体表现。 #### 8. **卷积** 作为 CNN 的核心算子之一，卷积操作通过对图像或其他高维数据应用滑动窗口滤波器提取空间模式特征[^3]。 --- ### 补充说明 值得注意的是，尽管上述知识点覆盖了大部分实际应用场景所需的内容，但对于希望深入研究理论基础的研究者而言，还需要补充一些高级主题，例如概率统计、信息熵、图论等方面的知识[^2]。 ```python import numpy as np # 示例：简单的一阶导数计算 def derivative(f, x): h = 1e-4 return (f(x+h)-f(x-h))/(2*h) print("Slope at point:", derivative(lambda t:t**2, 3)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值