深度之眼（十八）——偏导数与矩阵的求导

已于 2022-07-29 22:58:40 修改
阅读量4k 收藏 49
点赞数 17
分类专栏： # 深度之眼 文章标签： 机器学习 人工智能 算法
于 2022-07-28 13:55:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52592798/article/details/126027585
版权

文章目录

一、偏导数

在这里插入图片描述
在这里插入图片描述

对某个变量求偏导，则其余变量看成常数


在这里插入图片描述

可以直接认为成立，不必拘泥条件

二、多元复合函数的求导法则，链式求导法则

在这里插入图片描述

这里举了一个不错的技巧，可以看z到t有几条路径
在这里插入图片描述
对多元时求偏导的方法
比如对x求偏导，就看到x的路径，有几条，分别经过什么

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关键是画准链式关系

三、方向导数与梯度及其应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

举例

在这里插入图片描述

在这里插入图片描述
梯度的正方向，是梯度增长最快的方向。
梯度的负方向，是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
海森矩阵是个对称矩阵

五、多元角数的极值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、距阵的求导

在这里插入图片描述
在这里插入图片描述

f(x)对其求偏导，就是个列向量，有几个变量，就有行
右值都是看成实数

在这里插入图片描述

对x求偏导
对x求偏导
对x求偏导
对a求偏导
fx = Ax
A
fx = x^Tx
Ax+A^Tx
fx = a^Tx
a
x

解释之前的J

在这里插入图片描述
在这里插入图片描述

所以J对a求偏导等于0，过程在上面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

七、矩阵的求导在深度学习中的应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

周末不下雨
关注
  • 17
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
深度学习入门理解——零基础数学篇（一）
GWENGJING的博客
08-15 1305
深度学习入门理解——零基础数学篇（一），本文是在学习工程中写下的，也参考了很多博客，近期会随时更新-8.15版
矩阵导数(Matrix Differentia)
Flyingzhan的博客
12-29 1万+
矩阵导数(Matrix Differentia) 常见的偏导，导数形式都是标量形式的，比如说方程y=2x+10，那么y关于x的导数dy/dx=2，但是对于一般情况下，方程组Y=AX等情况来说，X,Y都有可能是向量或者矩阵的形式，这个时候怎么求dY/dX呢？ 矩阵求导主要分为以下一些情况： 1：x∈,y∈，y=Ψ(x) 对于y,x都是向量的情况下，dy/dx的形式如下，是一个m*n的矩...
矩阵求导公式
u013164612的专栏
09-26 1448
原文地址：矩阵求导公式【转】作者：三寅 今天推导公式，发现居然有对矩阵的求导，狂汗--完全不会。不过还好网上有人总结了。吼吼，赶紧搬过来收藏备份。 基本公式： Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/...
深度之眼（二十七）——神经网络基础知识（二）
最新发布
一个电子信息嵌入式的学习笔记
06-28 988
深度之眼（二十七）——神经网络基础知识（二）
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 23万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度之眼Pytorch打卡（十七）：循环神经网络部件——RNN详细原理与pytorch的RNN层应用实例
意疏的学习笔记
09-20 1192
前言   循环神经网络（Recurrent Neural Network，RNN）与卷积神经网络一样，都在深度学习中占有非常重要的地位。虽然先前笔记提到的全连接网络和卷积神经网络已经有很强的表示能力了，但由于网络结构的限制，它们只能处理定长的输入数据，并且由于有向无环的特点，它们只在意当前输入数据，而不考虑输入数据的顺序、以及前后数据是否有关联。而文本、语音和视频等数据，往往都是不定长的、并且前后数据相关性极大，一旦改变顺序，往往会失去原先的信息。所以需要一种考虑输入数据顺序，并且能够记忆以往数据信息的网
前馈神经网络——深度学习之神经网络核心原理与算法
leadai的博客
05-05 1万+
五月两场 | NVIDIA DLI 深度学习入门课程5月19日/5月26日一天密集式学习  快速带你入门阅读全文>正文共7165个字，85张图，预计阅读时间35分钟...
吴恩达深度学习——读书笔记
studyeboy的专栏
07-12 1138
深度学习概论 神经网络 房屋价格预测的模型： 左边是输入层，由人工输入，中间是隐藏层，连接数很高，神经网络自己决定每个节点具体是什么，右边是输出层，神经网络非常擅长计算从x到y的精准映射函数。 监督学习 到目前为止，几乎所有由神经网络创作的经济价值，都是基于一种机器学习——监督学习。 常见神经网络模型 NN：神经网络（预测等） CNN：卷积神经网络（图像处理） RNN：循环神经网络（善于处理一维序列数据，包含时间成分） 结构化与非结构化数据 人类更容易理解非机构化的数据 机器容易理解结构化数据
神经网络与深度学习【自用】
qq_61803559的博客
03-10 2350
自用
一文搞定卷积神经网络——从原理到应用
佐井白白的微笑
01-07 2万+
文章目录1. 前言2. 全连接BP神经网络的缺点3. 卷积神经网络基本单元3.1 卷积（Convolution）3.2 填充（Padding）和步长（Stride）3.3 完整的卷积过程3.4 池化（Pooling)3.5 激活函数4. 卷积神经网络的前向传播过程5. 卷积神经网络的反向传播过程5.1 卷积层的误差反传5.2 池化层的误差反传6. 代码实现6.1 Numpy实现6.1.1 卷积层前...
laosei_v23.zip_偏导数_矩阵的导数
07-14
该函数用来计算任意函数的一阶偏导数(数值方法),车牌识别定位程序的部分功能，经典的灰度共生矩阵纹理计算方法。
矩阵求导包括矩阵对矩阵求导.docx
05-24
这个过程涉及到偏导数的计算，确保对矩阵的所有元素进行处理。 例如，如果f(X) = tr(X^TAX)，其中A是一个常数矩阵，X是一个可变矩阵，tr()是迹运算（即对角元素之和），那么根据链式法则，我们可以得到： ∂f/∂X ...
矩阵转置偏导数
05-05
矩阵转置偏导数，用于矩阵转置之后求偏导，对元素，对向量以及矩阵求偏导
矩阵求导方法
10-26
最实用的矩阵求导教程。看这份基本不用看其他的了 。
BP神经网络中求偏导的矩阵表示
07-19
本文推导了BP神经网络反向传播算法，并用矩阵进行表示，文章中先介绍矩阵偏导数的知识，再将其用到推导中。
闲话矩阵求导
11-15
这涉及到对矩阵求导的理解，尤其是如何将复杂的矩阵运算转换为简单的偏导数形式。 此外，还有一些工具可以帮助理解和记忆这些复杂的求导规则，比如著名的《Matrix Cookbook》。这本书提供了大量的矩阵运算和求导...
矩阵求导术（下） - 知乎1
08-04
【矩阵求导术（下）】深入探讨了矩阵对矩阵的导数概念，以及与之相关的运算规则。在数学和工程领域，特别是在机器学习、优化问题等应用中，矩阵求导术扮演着至关重要的角色。文章指出，矩阵对矩阵的导数需包含所有...
向量矩阵求导合集.pdf
06-06
B站 矩阵求导第一节/第二节/第三节讲义
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周末不下雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值