矩阵求导公式(引自维基百科)

1.总体情况

在这里插入图片描述

2.分子布局(Numerator layout)和分母布局(Denominator layout)

首先我们常说 yx 求导,这里的 yx 均默认为列向量,y为(mx1), x为(nx1)

(1)分子布局——较为常用

yxT 求导,即对行向量求导。得到mxn的矩阵。比如雅可比矩阵,就是典型的分子布局。雅可比矩阵形式如下:
在这里插入图片描述
可见y依然是竖向变化的,而横向是对不同的x求导,也就是说x是横向的。所以是y对 xT 求导。

(2)分母布局——较为常用

yTx 求导,即对列向量求导,得到nxm的矩阵。其实此矩阵是分子布局求出来的矩阵的转置。

而我们知道,梯度ᐁ是导数的转置,,我们一般用分母布局求出的导数需要进行转置才能得到梯度。因此梯度ᐁ可以直接由分子布局的求导得到,也就是上面所说的雅可比矩阵。

海森矩阵是典型的分母布局。

下面建议,将所有的导数均按照分母布局进行计算和解析,然后如果求的是梯度,则取转置即可。

3.计算规律(向量均是列向量)

(1)向量对向量求导

在这里插入图片描述

(2)标量对向量求导

在这里插入图片描述
经常,∂x 的二阶导数会被写成(∂x)2,只是为了方便表述而已,其实应该是∂x∂xT

(3)向量对标量求导

在这里插入图片描述
其他请参考:https://en.wikipedia.org/wiki/Matrix_calculus#Layout_conventions

4.补充

(1)导数和梯度

导数和梯度互为转置,在泰勒展开时,经常会把展开结果写成梯度乘以向量的形式。注意区别。

(2)雅可比矩阵和海森矩阵的形式

雅可比矩阵的形式:
在这里插入图片描述
海森矩阵的形式:
在这里插入图片描述

  • 3
    点赞
  • 91
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值