向量与矩阵求导与实例分析

最新推荐文章于 2022-04-02 10:06:18 发布
最新推荐文章于 2022-04-02 10:06:18 发布
阅读量4.6k 收藏 63
点赞数 12
分类专栏： 数学基础 文章标签： 矩阵求导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ebzxw/article/details/82961316
版权

【说明】

1. 相关内容经过诸多学习内容整理

2.  比较权威的学习源可参考维基百科  https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

3. 机器学习关联内容学习： 1）西瓜书第55页多元线性回归涉及到的公式推导   2）机器学习实战 第138页 

【目录】

一、布局的概念

二、一个求导的例子

三、另一个例子的推导

四、矩阵及向量求导法则

五、求导公司速查表

 

一、布局的概念

重要前提： 若 x 为向量，则默认 x 为列向量， x^{T}为行向量

布局简单地理解就是分子 y、分母 x 是行向量还是列向量。

  • 分子布局（Numerator-layout）： 分子为 y 或者分母为  x^{T} (即，分子为列向量或者分母为行向量)
  • 分母布局（Denominator-layout）： 分子为  y^{^{T}} 或者分母为 x (即，分子为行向量或者分母为列向量)

为了更加深刻地理解两种布局的特点和区别，下面是从维基百科中布局部分拿来的例子：

分子布局

  • 标量/向量： 标量/向量 （分母的向量为行向量）

  • 向量/标量：

最低0.47元/天 解锁文章
周雄伟
关注
  • 12
    点赞
  • 踩
  • 63
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
一些矩阵向量求导的例子
qq_40723803的博客
04-03 440
1.（单样本）多元logistic回归 l=−yTlog⁡(softmax(Wx))，求∂l∂W其中：softmax(a)=exp⁡(a)1Texp⁡(a)=exp⁡(a)∑exp⁡(a)，分母是个标量log⁡uc=log⁡(u)−1log⁡(c)，c是标量，u是向量，向量1和u同型，实质是对向量的逐元素运算yT1=1，是向量的内积1T(u⊙v)=uTv，克罗内克积转换为矩阵乘法 l =-\bol...
矩阵求导公式
11-11 841
据说这里面有错误的公式，可以自行检查。 基本公式： Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N
对向量、方阵的求导
xueyingxue001的专栏
07-05 3万+
平时都是对一个数求导，那对向量求导呢？看下面的例子：          假设有下面这样的矩阵A和向量X                             我们很容易求出                             现在另 y = A·X，那矩阵y对向量x求偏导的结果是多少？          我们来分析一下，既然是矩阵y对向量x求偏导，那就的让矩阵y中的每一个
矩阵对向量求导
04-04
详细的矩阵对向量求导公式，包括向量对向量求导等等
1.4 torch_向量/矩阵求偏导
dc12499574的博客
04-02 597
文章目录函数微分标量/向量函数求偏导矩阵函数求偏导 函数微分 标量/向量函数求偏导 矩阵函数求偏导
向量矩阵求导合集.pdf
06-06
B站 矩阵求导第一节/第二节/第三节讲义
矩阵向量求导
04-08
线性代数求导，向量求导。。学过线代的看一下，理解一番。
矩阵向量微分求导.zip
07-15
包含了矩阵对矩阵求导，矩阵对向量求导，向量的微分，向量的导数等，多种矩阵、向量的微积分公式和讲解。内容包括： Vector/Matrix Derivatives and Integrals; Vector differentiation; Matrix differentiation; ...
[力荐] 矩阵向量求导法则 矩阵微商
07-25
1. 向量、矩阵对元素求导 2 1.1 行向量对元素求导 2 1.2 列向量对元素求导 2 1.3 矩阵对元素求导 2 2. 元素对向量、矩阵求导 3 2.1 元素对行向量求导 3 2.2 元素对列向量求导 3 2.3 元素对矩阵求导 3 3. 向量对向量...
机器学习中的矩阵、向量求导
02-23
机器学习中的矩阵、向量求导 快速掌握矩阵、向量求导法则的学习者，主要面向矩阵、向量求导在机器学习中的应用。因此，本教程而非一 份严格的数学教材，而是希望帮助读者尽快熟悉相关的求导方法并在实践中应用。另外...
矩阵向量求导(Vector derivation)
MAX_Hope的博客
05-10 1万+
原文：http://www.cnblogs.com/huashiyiqike/p/3568922.html https://blog.csdn.net/hongqiang200/article/details/40679725 复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 其中a，b，x都为列向量，并且都与x有关，S(a),S(b)分别代表向量a,...
矩阵求偏导
热门推荐
lirika_777的博客
03-21 5万+
各种矩阵（向量）求导
岁月如歌
04-15 2666
一个准则：按照单变量求导来做，然后调整下维数就可以了。 比如 对矩阵的求导，结果一定是和矩阵维数一致才对 今天早上遇到@tornadomeet在deep learning高质量群里问：一个列向量对一个列向量求导的结果，也就是下面的第一个公式：Y = A * X --> DY/DX = A’。我这才意识到矩阵里的很多知道又忘了，这些东西一旦不用，忘了就很快。矩阵和概率论的东西真心很重要，下...
数学：矩阵求导
ShellDawn的博客
02-25 447
矩阵Y对标量x求导： Y = [ y(ij) ] dY / dx = [ dy(ji) / dx ] 求导后，Y变转置了。 标量y对矩阵X求导： dy / dX = [ Dy/Dx(ij) ] 求导后，不需要转置。 //重要结论 y = U'XV = ΣΣu(i)x(ij)v(j)于是 dy/dX = [u(i)v(j)] = UV' y = U'X'XU 则 dy/dX =2XUU...
矩阵求偏导的理解
qq_29427541的博客
04-17 2204
无论单变量对向量，向量对向量，矩阵对向量，矩阵对单变量，矩阵对矩阵等等各种排列组合的结果的求导组合 即A中每个元素对B中每个元素的偏导数 转载至知乎
矩阵论：向量求导/微分和矩阵微分
chuange6363的博客
08-14 545
http://blog.csdn.net/pipisorry/article/details/68961388 复杂的矩阵函数求导。著名的matrix cookbook为广大的研究者们提供了一本大字典，里面有着各种简单到复杂矩阵和向量的求导法则。 布局(Layout) 矩阵求导...
matlab向量与矩阵运算
最新发布
11-25
MATLAB是一种矩阵化程序设计语言，因此它对于向量和矩阵的运算非常方便。以下是MATLAB中向量和矩阵运算的一些基本命令和函数： 1.创建向量和矩阵 ```matlab % 创建行向量 v = [1 2 3] % 创建列向量 v = [1; 2; 3] % 创建矩阵 A = [1 2; 3 4] ``` 2.向量和矩阵的加法和减法 ```matlab % 向量加法 v1 = [1 2 3]; v2 = [4 5 6]; v3 = v1 + v2; % 矩阵加法 A1 = [1 2; 3 4]; A2 = [5 6; 7 8]; A3 = A1 + A2; % 向量减法 v1 = [1 2 3]; v2 = [4 5 6]; v3 = v1 - v2; % 矩阵减法 A1 = [1 2; 3 4]; A2 = [5 6; 7 8]; A3 = A1 - A2; ``` 3.向量和矩阵的乘法 ```matlab % 向量点乘 v1 = [1 2 3]; v2 = [4 5 6]; v3 = dot(v1, v2); % 向量叉乘 v1 = [1 2 3]; v2 = [4 5 6]; v3 = cross(v1, v2); % 矩阵乘法 A1 = [1 2; 3 4]; A2 = [5 6; 7 8]; A3 = A1 * A2; % 矩阵点乘 A1 = [1 2; 3 4]; A2 = [5 6; 7 8]; A3 = A1 .* A2; ``` 4.向量和矩阵的除法 ```matlab % 向量除法 v1 = [1 2 3]; v2 = [4 5 6]; v3 = v1 ./ v2; % 矩阵除法 A1 = [1 2; 3 4]; A2 = [5 6; 7 8]; A3 = A1 ./ A2; ``` 5.查看矩阵的大小 ```matlab % 列出矩阵 A 的行数和列数 size(A) % 返回矩阵 A 的行数 size(A, 1) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值