数学：关于对向量、矩阵求导常见公式

最新推荐文章于 2024-07-21 22:22:19 发布
最新推荐文章于 2024-07-21 22:22:19 发布
阅读量3.8k 收藏 33
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35896136/article/details/105499682
版权

对向量、矩阵求导，和对标量求导还是有点区别，特别是转置和不转置，在网上参考了其他资料整理一下。

介绍：

在矩阵求导中，分为两种布局：分别是分子布局（Numerator Layout）和分母布局（Denominator Layout）。
考虑 x , y x,y x,y分别是 n , m n,m n,m 维列向量, A A A是 m × n m×n m×n 矩阵, z z z是标量.

Numerator Layout

想象分子不变, 分母转置.
在这里插入图片描述

Denominator Layout

想象分母不变, 分子转置.
在这里插入图片描述
再来看常用矩阵求导

一、向量求导
1、向量对向量求导

在这里插入图片描述

2、标量对向量求导

在这里插入图片描述

3、向量对标量求导

在这里插入图片描述

2、常见矩阵
（1）梯度

在这里插入图片描述
在这里插入图片描述

（2）雅克比矩阵

在这里插入图片描述
在这里插入图片描述

（3）海森矩阵

在这里插入图片描述

三、矩阵求导

在这里插入图片描述
当 A A A为堆成矩阵时， A T = A A^T = A AT=A
在这里插入图片描述
参考：https://blog.csdn.net/daaikuaichuan/article/details/80620518

谁偷了我的酒窝
关注
一些向量求导公式
jinjgkfadfaf的博客
11-21 1416
一些向量求导公式参考《关于向量求导的一些公式》，刘昌红，刘瑞元 1.xT=[x1,...,xn],aT=[a1,...,an]\mathbf x^T=[x_1,...,x_n], \mathbf a^T = [a_1,...,a_n] ∂(aTx)m∂x=m(aTx)m−1a\frac{\partial(\mathbf a^T\mathbf x)^m}{\partial \mathbf x} =
向量求导公式
loveblair1990的博客
12-15 7826
最近在看吴恩达的视频啊、LDA啊、PCA啊，觉得很有必要将向量求导公式复习一下，要不感觉算的时候怪怪的~
向量，标量对向量求导数
06-14 6万+
1.已知 对谁求导数，就以谁（分母）作为主序，得出结果。比如这里x是列向量，求Ax关于x求导数，那么对x的每个分量分别求偏导数(写成一行)，然后整理排成一列（同x一样是列向量）。 同理有 关于x的转置x.T求导数，x.T是行向量，那么Ax分别对x.T向量中的分量求偏导（写成一列），然后整体排成一行（同x.T是行向量）。2.若A是1×n行向量，x是n×1的列向量， 有 3.若A是n
常用的向量矩阵求导公式
keep forward, go, go, go
05-27 1万+
转载自 https://blog.csdn.net/lipengcn/article/details/52815429总结下数理推导中常用的向量矩阵求导公式，方便以后查询。1、2、3、4、5、
向量求导 (Derivative of a Vector)
最新发布
大连赵哥的博客
07-21 345
向量求导 (Derivative of a Vector)
向量、矩阵求导的重要公式
weixin_42764932的博客
01-25 1927
书接上文标量、向量与矩阵的求导https://blog.csdn.net/weixin_42764932/article/details/113107265 几个公式要牢记，机器学习算法推导用的上 向量、矩阵求导的重要公式1. ∂Ax→∂x→=AT\frac{\partial A \overrightarrow{x}}{\partial \overrightarrow{x}}=A^{T}∂x∂Ax​=AT2. ∂Ax→∂x→T=A\frac{\partial A \overrightarrow{x}
矩阵对向量求导
04-04
详细的矩阵对向量求导公式，包括向量对向量求导等等
向量矩阵求导合集.pdf
06-06
矩阵求导涉及的操作包括对矩阵或向量进行微分，或者对单个变量函数进行向量化后的微分。 本合集的讲义是B站关于矩阵求导的系列课程，涵盖了矩阵求导的基础知识和详细讲解。具体而言，矩阵求导的合集被分为三个部分...
矩阵论（八）：矩阵微分与矩阵求导
niu_123ming的博客
02-20 6587
广义逆矩阵 做机器学习的几乎避免不了矩阵求导，尤其是神经网络方面的，反向传播算法说白了就是在做矩阵求导，拿到代价函数对模型中每个参数矩阵的导数，才能找到一个下降方向，进而更新这些参数来降低损失。虽然实际编程时大可不必考虑这些繁琐的数学计算，但是要真正理解凸优化中的一些方法，掌握这个基本的数学工具还是有必要的。 【注1】下面的探讨均在实数域内进行。 【注2】虽然RnR^nRn定义为实数域RRR中的...
矩阵求导详细手册-求导运算公式表文献及-PPT.rar
06-28
总之，《矩阵求导详细手册》是学习矩阵求导的宝贵资源，通过深入理解并掌握其中的公式和原理，不仅可以增强数学功底，也能提升在实际问题中的解决能力。结合配套的PPT，学习过程会更加直观和高效。
矩阵 向量求导法则
04-05
机器学习数学基础，矩阵 向量求导法则必会
矩阵、向量求导法则
09-12
该文档总结了矩阵对矩阵、矩阵对向量、向量对矩阵、向量对向量、元素对矩阵、元素对向量的求导法则，非常有用！
矩阵求导.pdf
08-14
矩阵求导关注如何将标量、向量和矩阵对矩阵的求导规则系统化，并且推导出它们的计算公式。 首先，矩阵求导的基本定义涉及将标量对矩阵中每个元素的导数放在原位置组成结果矩阵。这意味着，如果我们有一个标量函数f...
向量转置的怎么求导_机器学习中的向量求导和矩阵求导
weixin_42349126的博客
12-30 1446
在机器学习的各种关于向量或者矩阵的求导中，经常会出现各种需要转置或者不需要转置的地方，经常会看得人晕头转向。今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考。一些约定首先，在机器学习中，对于研究经常需要用到的标量、向量、矩阵的求导，我们约定分子使用 表示， 分母使用 表示。其中，分子的标量形式为 ，分子的向量形式表示为 ，分子的矩阵形式表示为 ；类似的，分母的标量...
对向量求导的常用公式
鲁鹏的博客
05-09 1万+
对向量求导的常用公式 最近经常会遇到常数和向量对向量求导的计算，感觉需要总结点什么了。以后，我还会在这个文档中添加新的公式。
矩阵求导、几种重要的矩阵及常用的矩阵求导公式
热门推荐
青萍之末的博客
06-08 33万+
一、矩阵求导   一般来讲，我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)Tx=(x_1,x_2,...x_N)^T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。 1、向量对向量求导 2、标量对向量求导 3、向量对标量求导 其他的可以参考wiki：维基百科矩阵求导公式 二、几种重要的矩阵 1、梯度（Gr...
矩阵求导
何瑞龙的专栏
10-10 541
基本公式： Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值