矩阵导数(Matrix Differentia)

 

矩阵导数(Matrix Differentia)

常见的偏导,导数形式都是标量形式的,比如说方程y=2x+10,那么y关于x的导数dy/dx=2,但是对于一般情况下,方程组Y=AX等情况来说,X,Y都有可能是向量或者矩阵的形式,这个时候怎么求dY/dX呢?

矩阵求导主要分为以下一些情况:

1:x∈R^{n},y∈R^{m},y=Ψ(x)

对于y,x都是向量的情况下,dy/dx的形式如下,是一个m*n的矩阵:

此时,当y是一个标量的时候,结果就是一个1*n的行向量,当x是一个标量的时候,结果就是一个m*1的列向量。

2:y=Ax, x∈R^{n},y∈R^{m},A∈R^{m*n},A与x无关

3:y=Ax, x∈R^{n},y∈R^{m},A∈R^{m*n},x是z的函数,x=Φ(z),A与x以及z都无关

4:设α=y^{t}Ax,x∈R^{n},y∈R^{m},A∈R^{m*n},A和x,y无关,α是标量

5:对于4的特殊情况,α=x^{t}Ax

此时,如果A是一个对称矩阵的话,那么A^{T}=A,所以结果变成了:

6:对于α=y^{t}xα= y^{t}x,x∈R^{n},y∈R^{n},x,y都是关于z的函数,z是向量

将叠加的式子转化为矩阵形式不那么明显,由于向量相乘是\sumxiyi的形式,因此上面的式子首先可以转化为向量相乘,然后在转化为矩阵,如下:

然后再将zk转化为z,就行了,结果就是1中的矩阵形式。

对于y=x的特殊情况,结果如下:

7:设α=y^{t}Ax,x∈R^{n},y∈R^{m},A∈R^{m*n},A和z无关,α是标量,y,x都是关于z的函数

8:对于α=x^{t}Ax,A和z无关,α是标量,x是关于z的函数

当A时对称的时候,结果如下:

9:如果A是一个矩阵,α是标量

如果A是非奇异m*m的矩阵,那么A^{-1}关于α的偏导为:

注意

有可能别的论文或者文章里面求导的结果和本文不一致,是因为矩阵偏导的形式不同,和X是行矩阵(每一行为一个向量)还是列矩阵(每一列为一个向量)有关联,两者的结果差一个转置,因为:

本文的结果是行矩阵的结果,列矩阵的结果可以参考https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf.

参考文献

Matrix Differentiation. Randal J. Barnes

  • 9
    点赞
  • 59
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值